Защита от парсинга
Variti помогает защищать цены, карточки товаров и контент от автоматизированного сбора. Затрудняйте мониторинг конкурентами и снижайте лишнюю нагрузку на сайт.
- Защита от нежелательных ботов-парсеров.
- Фильтрация вредоносных запросов до их попадания на ваш ресурс.
- Подбор решения под задачи вашего бизнеса.
Что такое парсинг?
Парсинг сайта — это автоматизированный сбор и обработка размещённой на нём информации. Специальные программы — парсеры — обходят страницы и извлекают нужные данные: цены, описания товаров, изображения, объявления или статьи.
Сам по себе парсинг — инструмент работы с данными. Риск для бизнеса возникает, когда его используют для нежелательного массового сбора: копирования каталога, регулярного отслеживания цен и акций, перепубликации контента.
При интенсивном обходе парсеры также создают лишнюю нагрузку на сервер. Ресурсы, необходимые покупателям и читателям, расходуются на обслуживание ботов.
Кому и зачем необходима защита
Защита от парсинга нужна компаниям, для которых каталог товаров, контент и актуальные данные имеют коммерческую ценность.
Интернет-магазины
Затрудняйте автоматический мониторинг цен, скидок и ассортимента. Ограничивайте массовое копирование карточек товаров и расход серверных ресурсов на обход каталога товаров.
Маркетплейсы
Защищайте от нежелательного сбора предложения продавцов, цены, отзывы и характеристики товаров. Снижайте нагрузку от регулярного обхода большого количества страниц.
Доски объявлений и классифайды
Ограничивайте массовое копирование объявлений, фотографий и опубликованных контактных данных для создания дублей и нежелательных рассылок.
СМИ и контентные проекты
Затрудняйте автоматизированное копирование статей и других материалов для перепубликации на сторонних площадках.
Сервисы бронирования и продажи билетов
Ограничивайте нежелательный автоматический сбор цен и доступных предложений. Снижайте нагрузку от частых запросов к поиску и страницам результатов.
Методы защиты сайта от парсинга
Блокировка IP, лимиты запросов и CAPTCHA помогают ограничить автоматический сбор данных. Но у каждого из этих методов есть ограничения, которыми пользуются парсеры.
Блокировка IP-адресов — риск ограничить доступ реальным посетителям
Парсеры могут менять адреса и распределять запросы между множеством IP. Блокировки приходится постоянно обновлять. При этом за одним адресом могут находиться и бот, и реальные пользователи: запрет доступа по IP затронет всех.
Ограничение частоты запросов — медленный парсинг остаётся незаметным
Лимиты помогают остановить слишком частые обращения к сайту. Но боты могут увеличивать интервалы между запросами и собирать данные с разных адресов, оставаясь в пределах разрешённой частоты.
CAPTCHA — дополнительное препятствие для посетителей
Проверки усложняют автоматический сбор данных, но добавляют действия на пути к покупке или заявке. При этом CAPTCHA не гарантирует защиты: парсеры могут использовать сервисы её решения.
Статические правила — необходимость постоянно реагировать на изменения
Запреты по User-Agent, заголовкам и другим отдельным признакам помогают отсеивать простых ботов. Более сложные парсеры меняют эти параметры и имитируют обычные браузеры. Правила требуют регулярного пересмотра.
Robots.txt — инструкция, которую парсер может проигнорировать
Файл robots.txt сообщает роботам, какие разделы не следует обходить, но технически не ограничивает доступ. Нежелательные парсеры могут не соблюдать его указания.
Преимущества защиты от парсинга Variti
Блокируем запросы ботов — сохраняем доступ посетителям
Variti проверяет каждый запрос отдельно. Это снижает риск заблокировать реальных пользователей, которые выходят в интернет с одного IP-адреса вместе с ботами.
Выявляем парсинг, даже если он не создаёт всплеска запросов
Ограничение частоты помогает против слишком активных ботов. Variti также анализирует поведение и историю действий, чтобы выявлять признаки автоматического сбора данных, которые нельзя определить только по интенсивности трафика.
Проверяем больше, чем IP-адрес и название браузера
Variti сопоставляет репутацию источника, технические признаки и поведение. Смена IP или попытка выдать парсер за обычный браузер не исключает его обнаружения по другим сигналам.
Учитываем, какие боты полезны вашему бизнесу
Поисковые роботы и разрешённые сервисы тоже работают автоматически. Гибкие политики позволяют учитывать назначение трафика: ограничивать нежелательный сбор данных и сохранять доступ нужным сервисам.
Помогаем реальным посетителям пройти при ошибочной блокировке
Клиент может включить CAPTCHA для заблокированных запросов. Тогда вместо страницы блокировки посетитель получит возможность решить CAPTCHA и пройти на сайт. Если таких проходов становится много, это сигнал для команды Variti скорректировать настройки и снизить число ошибочных блокировок.
Защита сайта: тарифы и цены
Защита от парсинга подключается с опцией Anti-Bot. Выберите тариф с учётом количества доменов, объёма трафика и необходимого уровня поддержки.
|
Возможность |
Standard |
Business |
Professional |
|---|---|---|---|
|
Абонентская плата (руб/мес) |
от 22 000 |
от 82 000 |
По запросу |
|
Защищаемые домены |
1 |
2 |
5 |
|
Очищенный трафик |
3 Мбит/с |
4 Мбит/с |
10 Мбит/с + доступ к API |
|
Техническая поддержка |
Поддержка по электронной почте с временем реакции до 1 часа |
Управление пользователями в личном кабинете, поддержка по электронной почте и в Telegram с временем реакции до 30 минут. |
Круглосуточная поддержка с временем реакции до 15 минут. |
Стоимость Anti-Bot рассчитывается индивидуально.
Во все тарифы входит защита от DDoS-атак на уровнях L3/L4/L7. Указанные цены «Стандарт» и «Бизнес» включают базовую абонентскую плату и опцию Anti-Bot. Итоговая стоимость зависит от параметров проекта и дополнительных услуг.
Часто задаваемые вопросы
- Парсеры отправляют запросы к сайту, получают содержимое страниц и извлекают заданные данные: например, цену, название товара или текст объявления. Затем сохраняют информацию в таблицу или базу данных. Более сложные программы используют автоматизированные браузеры и регулярно возвращаются на сайт, чтобы отслеживать изменения.
- Законность зависит от того, какие данные собираются, как получен доступ и для чего используется результат. Публичная доступность информации не отменяет установленных законом ограничений. При оценке конкретного случая нужно учитывать права на контент и базы данных, требования к обработке персональных данных и способ получения информации.
- Нужно выявлять и ограничивать автоматизированный сбор данных со страниц каталога и карточек товаров. Простого ограничения частоты запросов может быть недостаточно: парсеры способны обращаться к сайту с разных адресов и увеличивать интервалы между запросами. Антибот-защита помогает противодействовать такому сбору. При этом задача защиты — затруднить массовый мониторинг, а не скрыть публичную цену от любого посетителя.
- На автоматизированный сбор могут указывать последовательный обход каталога, повторяющиеся запросы к однотипным страницам и необычная частота обращений. Системы защиты могут учитывать также технические признаки клиента и особенности сессии. Надёжнее оценивать совокупность сигналов: один признак сам по себе не всегда означает, что перед вами бот.
- Задача антибот-защиты — ограничивать нежелательную автоматизацию, сохраняя полезный трафик. При подключении важно учитывать покупателей, поисковых роботов и разрешённые интеграции. Полностью исключить ошибочные срабатывания нельзя, поэтому мы используем глобальный белый список для известных ботов поисковиков, социальных сетей и т.п. Реальные посетители также обнаруживаются антиботом и обрабатываются так, чтобы не нарушить бизнес логику защищаемого ресурса.
- Variti спроектирована так, чтобы проверка запросов не создавала заметной задержки для посетителей. По нашим внутренним тестам, полный цикл проверки и пропуска легитимного трафика занимает от 1 до 10 мс — такая прибавка обычно незаметна пользователю.
Распределённая сеть с маршрутизацией Anycast BGP направляет запросы в ближайшую по сетевому маршруту точку присутствия. Подключения к нескольким магистральным операторам на М-IX помогают быстро передавать трафик к защищаемому серверу. Это снижает сетевые задержки, а фильтрация нежелательных ботов дополнительно уменьшает нагрузку на сайт.
Ограничьте доступ парсеров к данным вашего сайта
Расскажите, что нужно защитить: цены, каталог товаров, объявления или контент. Подберём решение и рассчитаем стоимость.
