Боты на сайте — что это такое?

Боты на сайте — это посещения автоматическими программами, не живыми пользователями. Боты могут выполнять как полезные, так и вредоносные действия: от индексации страниц поисковыми системами до DDoS-атак, спама в комментариях или имитации пользовательской активности для накрутки поведенческих факторов.

Как отследить ботов на сайте?

Отслеживание такого трафика требует комплексного подхода:

  • Системы аналитики (Яндекс.Метрика, Google Analytics) — выявление аномалий: резкие всплески посещаемости в неестественное для пользователей время, высокий уровень отказов, посещения с малым временем на сайте и глубиной.
  • Логи веб-сервера — позволяют увидеть частоту запросов с одного IP, неестественное поведение, подмену user-agent и прочие признаки автоматизации.
  • Firewall и антибот-сервисы — помогают блокировать подозрительную активность на уровне сервера или CDN.

Как владельцы сайтов борются с ботами: результаты опроса

Мы провели опрос среди владельцев сайтов, чтобы выяснить, как они борются с подобным трафиком. Ниже представлены самые популярные и эффективные методы, которые применяются на практике.

1. Cloudflare — универсальный щит

Многие участники опроса отметили, что Cloudflare — один из самых популярных и действенных инструментов. Он используется как в бесплатной версии, так и в платной ($25/мес). Среди возможностей:

  • Капчи и JS-челленджи;
  • Ограничение по IP, ASN, стране;
  • Защита от DDoS и поведенческих ботов;
  • Аналитика подозрительной активности.

2. Фильтрация трафика через хостинг или CDN

Некоторые используют DDos-Guard или встроенные фильтры у хостинг-провайдеров. Эти системы могут автоматически блокировать IP-адреса с подозрительной активностью, особенно из облачных сетей и хостингов.

3. Фаерволы и кастомные правила на сервере

Еще один из подходов — настройка фаерволов (iptables), фильтрация по user-agent, IP, подсетям и даже JA3-отпечаткам (уникальные сигнатуры TLS-соединений).

Также применяются:

  • Скрипты для выявления подозрительной активности (например, слишком частые комментарии);
  • Ограничение доступа по рефереру или белым спискам;
  • Отслеживание по логам nginx и блокировка при превышении порогов запросов.

4. Сервисы антиботов и антиспама

Некоторые используют специализированные сервисы:

  • Antibot.cloud
  • Botfaqtor.ru
  • WSR и другие решения, которые защищают от автоматических заходов, парсинга и накруток.

Также используется антиспам в комментариях и фильтрация по числу действий в секунду.

5. Логи Nginx 

Также, ряд участников опроса используют логи Nginx для защиты от ботов. Отмечают этот способ, как рабочий инструмент, который помогает идентифицировать и блокировать нежелательный трафик. Регулярный анализ логов помогает поддерживать безопасность сайта, минимизируя риски, связанные с ботами и вредоносными атаками.

Выводы

Боты на сайте — это проблема, с которой сталкиваются как крупные сайты, так и небольшие проекты. Негативные последствия не ограничиваются падением показателей посещаемости. Сайты, перегруженные ботами, могут столкнуться с ухудшением монетизации, поскольку рекламодатели анализируют поведенческие факторы. Наличие большого количества ботов может привести к снижению CPM или попаданию в блэк-листы рекламных агентств, что негативно отразится на доходах сайта.

Универсального решения не существует: наиболее эффективное — комплексный подход, сочетающий серверные настройки, аналитику, сторонние сервисы и здравый смысл.

На основе ответов можно выделить ключевую мысль: использование специализированных сервисов и регулярный мониторинг — основа защиты от ботов. Но даже продвинутые инструменты не всегда помогают выявить «умных» ботов, имитирующих поведение реальных пользователей.

Реальные ответы паблишеров

А теперь самое интересное — реальные ответы паблишеров. Без корректировок, орфограция и пунктуация сохранены.

Изначально вопрос звучал так: «В последнее время многие наши партнеры жалуются на рост количества ботов на их сайтах. Подскажите, пожалуйста, есть ли у вас похожие проблемы, и как вы их решаете?».

🔸 «У нас фильтрация трафика, не замечали отклонений — Ddos-guard.net«

🔸 «Тут нет какого-то конкретного решения. Это комплексный подход.
основное — это настройками самого сервера отслеживается подозрительная активность на сайте (парсинг, ддос и т.д.). подозрительные ip автоматически блокируются на уровне файрвола на определенный период.
Затем периодически вручную проводится анализ блокировок и добавляются в файрвол целые подсети. В основном это хостинги и облачные сервисы. для нас это не нормальные пользователи)»

🔸 «Проблем с ботами нет, на сайте стоит Cloudflare
Бесплатный аккаунт, настраивал фрилансер.
В яндекс метрике смотрю каждый день общее колличество отказов и колличество отказов-прямых заходов на главную страницу»

🔸 «У нас трафик весь органический и ботов нету
Особо навязчивые боты фильтруются на уровне nginx, подробнее: https://pastebin.com/raw/5L2bTYTX«

🔸 «У нас была проблема в конце 2023 года, решили защитой от Cloudflare. Не всё конечно, но очень много убрал такого трафика. Плюс можно аномалии выявлять по аналитике. У нас платный тариф, который где-то 25$ вроде.
Сложнее всего с поведенческими ботами, этих думаю даже CF может не распознавать. Находил какое-то решение, но только для PHP работающее, у нас другой стек. Но в целом CF решил проблему на 99%, поэтому не возвращались к вопросу»

🔸 «К нам боты ходят, чтобы трафик перегонять через проксирование ссылок. Но мы их завернули
Я на бэке сделал вайтЛист доменов на проксирование. Не подходит — заворачиваю на главную, а не на таргет.
Также ходили боты спамить в комментарии. Подкинули скрипт, который удаляет все комменты пользователя если их написано больше 4 за последние 5 секунд
У нас бэк весь свой, поэтому мы можем крутить это все. Есть решение, которое на уровне веб сервера заворачивает их. Самый лучший метод.
У нас свой движок на основе Ларавеля, наши скрипты никому в лоб не подойдут»

🔸 «cloudflare ) и отслеживание логов) Но года 2 проблем не было) у меня 2-3 к ботов в день)
Но скорее поисковики и подобное
Но, Яндекс метрикой уже так же года 2 не пользуюсь, захожу на liveinternet только.
А когда подозрение на ботов, иду на Яндекс метрику, она показывает «прирост».
А там уже думаю как избавится от Парсеров копирующих сайт и тд.
Но именно накрутки ботов давно не было) может это сами владельцы крутят поведенческие факторы?)»

🔸 «Да, есть такая проблемка,
https://antibot.cloud/ — вот этот сервис более менее помогает»

🔸 «С роботами особо ничего не делаю, только от DDoS атак у меня настроен фильтр на хостинге»

🔸 «Здравствуйте!

Мы подключили сервис, защищающий сайты от ботов: https://botfaqtor.ru/sites-antibot/.
Для нас опасность заключается в том, что боты заходят и сразу уходят, и это воспринимается как низкий интерес к странице. Мы регулярно мониторим трафик, и если возникает какой-то естественный наплыв, то сразу видно, что он идет на определённые «»горячие»» статьи. Однако вчера мы заметили следующее:

  1. За полчаса трафик вырос, однако за последние 5 минут остался на среднем уровне.
  2. Трафик распределялся по всем страницам сайта — это похоже на парсинг (копирование страниц).
  3. Также боты моментально покинули сайт.

Мы подключили сервис, так как не хотим рисковать. Однако в этой статье — https://yavorsky.ru/stati/zashchita-ot-skrutki-povedencheskikh-faktorov/ — говорится о блокировке IPv6, поскольку из-за дешевизны эти адреса скупают различные SEO-агентства, и обычные живые пользователи их практически не используют. Возможно, эта информация пригодится вашим партнёрам.
UPD: с 16.05 подлючил платный аккаунт Cloudflare за 25$»

🔸 «Всплесков не наблюдаем, ничего специально для этого не делали»

🔸 «Добрый день! У нас сканятся логи nginx и если там аномалии по какому-то айпишнику, больше N кол-ва запросов за промежуток времени, IP отправляется в iptables в бан. Но это уже несколько лет работает, так что больше сейчас или меньше сказать не могу :)»

🔸 «Привет, да есть такое. Примерно уже полтора года как клиенты ставят в кипиай роботность. Мы блокируем айпи роботов по данным клиента, если есть еще способы кроме каптчи, будем рады знать.»

🔸 «Здравствуйте, у меня стабильно процентов 5, особо ничего не делаю, инструменты не применяю»

🔸 «Этой дряни всегда много было. Много способов борьбы. Совсем тупых по юзерагенту дропаю, подозрительным гуглокапча, крупных типа битерики, амазона рублю сразу на nginx подсетями. Для дидосов пришлось специальную систему реагирования писать, но они нечастые
Сейчас есть новое явление — боты изображающие людей, будто ходят по сайту, сложно отличить. Их тоже рублю когда нахожу. Но даже не понимаю зачем и кому это нужно и чем вредит.»

🔸 «Здравствуйте.

Вопрос, как их точно определять. Если смотреть метрику, то на мелких проектах роботность выше. Там трафика меньше и небольшое количество ботов уже сильно влияет на процент. За последний квартал сильного изменения в метрике не вижу.

Когда использовал полноэкранный на мобилках, то очень много кликов было похоже на ботов. Потому что там ctr около 20%, что сложно объяснить: люди так сильно не кликают, даже если промахиваются по крестику. А вот боты вполне могут нажимать, не сумев закрыть объявление и имитирую действия на сайте.

Как решаю:
Не использую полноэкранные блоки. Толку от них мало. И со временем cpm все равно проседает, потому что РСЯ видит, что толку от такого трафика нет.

Больше ничего не делаю. Кто-то фильтрует. Но не всегда помогает да и требует тонкой настройки. Иначе, можно накосячить можно и обычные пользователи на сайт не попадут.

Считаю, что Яндекс прекрасно все это видит. И он ничего не делает с этим, поведенческий фактор не занижает в ранжировании. Многие SEOшники стали предлагать услугу накрутки ПФ, потому что только это работает. Из-за этого столько ботного трафика стало.

Яндексу это увеличивает прибыль, пока он монополист на рынке. Сколько сейчас % ботного трафика в пропорции к настоящему? Я думаю, существенный процент.»

🔸 «Ничего не делаем, аномальной активности по посещаемости не замечаем, отслеживаем по метрике»

🔸 «Нас пока не каснулась эта проблема. Можно подключать сервисы типа DDOS-guard. У них есть встроенная защита от ботов на основе js-challenge»

🔸 «Мониторим, но роботность в среднем у нас не скачет
Админы мониторят – подробности озвучить не могу»

🔸 «Блокируем по юзер агенту.»

🔸 «СloudFlare для защиты от атак. В целям подстраховки от блокировки РСЯ за скликивание ботами есть решение прописывать рекламным блокам путь по рефереру.»

🔸 «С роботами особо ничего не делаю, только от DDoS атак у меня настроен фильтр на хостинге»

🔸 «При увеличении нагрузки на сервер блокируем их IP-адреса.»

🔸 «По ИП адресу блокирую, но это мало помогает.»

🔸 «Яндекс говорит, что 0% роботов по отношению к пользователям. в целом весь траффик — органика, ничего специального для чистоты не делал»

🔸 «Да поперли и у моего двоюродного брата. У меня что интересного — валят только на 1 раздел — Спортивное питание! Идут только с мобильного браузера Хром версии 134. Я пробовал этот браузер заблокировать и сразу стата чистая становилась. Но тем не менее другие юзеры также подпадают и я решил пока убрать блокировку.
Что делать я не знаю… мне это жутко надоело.
Есть вот такой сервис но еще не тестил его
https://antibot.cloud/«

🔸 «Точный функционал сейчас не вспомню, но отслеживает неестественные всплески посещаемости, количество открытых страниц за определенное время. Не помню внедрял или нет, но пожалуй стоит: переход по скрытой ссылке, заполнение формы, размером 1px.»

🔸 «Добрый день, да у нас тоже есть проблемы с этим
Мы используем капчу cloudfare, пока более каких то надежных методов не нашли
На некоторые ip адреса, которые подозрительные и маскируются под пользователей (как-то их там в метрике вычисляют), тоже капчи ставим
После подключения защиты CF по трафику сильно просели, процентов на 80%, но мы не делали капчу на журнал (это основной трафик), а остальные разделы сайта упали прилично, к сожалению
Используем бесплатный аккаунт CF»

🔸 «Да, устанавливал плагин антибот там, где сайты были на вордпресс. Но потом снял его. Еще через настройки хостинга — писал в техподдержку, они отключали определенные ip, на ряде сайтов это срезало всех ботов»

🔸 «Да просто в ручную блокирую ip которые много раз заходят»

🔸 «Ух, вопрос сложный и объемный. У меня стоят специфические настройки сервера, которые определяются ботов, которые как минимум приходят из IP адресов, которые принадлежат хостингам.
Также стоит фильтрация на подмену user-agent от тупого парсинга.
Особенно много с Selectel приходит.
Но это отсекает только глупых ботоводов. Те, которые занимаются этим профессионально, те ходят с мобильных телефонов и подставляют все параметры реального пользователя. Их даже Claudlare не видит и пропускает и как с ними бороться тут ума не приложу. Есть сложные технические приемы определения JA3 fingerprints, создание своей базы этих фингерпринтов и блокировка по ним. Она самая надежная, но очень сложно реализуемая технически.
Если пользователь пользуется Cloudflare, то там стоит включить защиту от ботов и АИ агентов. Но профи и ее обходят»

🔸 «Добрый день. Нет не наблюдали такого. Все посещения живые из поисковых систем. Взлетов посещаемость связанных с ботами не наблюдал
А так у провайдера стоит защита от ddos и блокировка по ip адресам. Соотвественно она отслеживает например если не из России приходит поток, то его скорее всего забанят он даже до сайта не дойдёт»

🔸 «Не наблюдаю такого. У меня на сервере настроена система блокировки ботов по IP Ranges популярных хостинг-провайдеров и азиатских стран, по User Agent и по сценариям обращения к страницам сайта.»

🔸 «Вроде все стабильно) С таким проблемами не сталкивались. Или вы о ДДОС атаках?
Ну нас ддосили, главную страницу сайта. Мы подключали просто обычный статичный html на главную и вручную обновляли раз в день. Получается не было запросов к БД и не было нагрузки на сервер.»

🔸 «CloudFlare»

🔸 «Я подключил защиту от ddos-guard через хостера firstvds.ru. Они фильтруют трафик. А так да, боты одолели одно время. Сильно позиции сайты подпортили.»

🔸 «Cloudflare, ботность есть, но не большая, где-то 5%»

🔸 «В cloudflare блокирую по диапазону IP
Или даже по asn, типа всяких хостинга, где они могу размещаться»

🔸 «У меня как-то были посещения с сетей IPv6, они конечно сильными всплесками не приходили, но казались подозрительными, поэтому пришлось всем IPv6 доступ к сайту закрывать»

🔸 «Нет, но были. Решал через cloudflare»

🔸 «У нас сайты с контентом, мы анализируем посещения и прочтения.
Боты портят статистику но не в тех количествах чтобы мешать.
Какого-то заметного увеличения именно в последнее время не наблюдал. Но посмотрю повнимательнее.
Мы несколько раз подвергались DDoS атакам — тоже своего рода боты, вот с этим очень трудно бороться.»

🔸 «Процент ботов по метрике от 2 до 13%. Решаю просмотром раз в неделю журнала от хостера, смотрю какие новые боты появились, закрываю доступ руками. Но я бы не сказал, что боты очень активны, м. б. сказалось, что такую работу веду уже год. Да, оказывается закрывать ботов через. htaccess вполне реально, но не является 100% защитой, которую предоставляют платные инструменты.»

🔸 «Иногда бывает резкий всплеск заходов с отказами, у меня cloudflare стоит. Раньше часто включал режим атаки при котором всем показывается капча. Последнее время вообще перестал с этим бороться поскольку никаких особых всплесков подозрительного трафика почти не бывает, да и капча затрудняет доступ не только ботом но и реальным посетителям.
На searchengines почитал сейчас у многих прям проблема с ботами но никто не пишет о мультимедийных сайтах, музыка, ролики и тд и тп.
Я так понимаю особо проблема касается информационных проектов, где можно по парсить текст.
Мое личное предположение что нейронки «выгуливают» возможно.»

🔸 «Включили проверку на роботов для сетей с которых идут боты»

🔸 «CloudFlare»

🔸 «По поводу ботов, у нас недавно был эпизод странный, похожий на ддос атаку, по итогу мы усилили защиту.
Разработчик что-то в настройках Selectel делал, защиту от атак настраивал»

🔸 «Ставили самодельного антибота, довольны»

🔸 «Добрый вечер, у нас проблемы с работоспособностью сайта) ботов нет задачи поймать. И не думаю, что кому-то интересно их к нам отправлять
Я думала, что ботов сами площадки создают, чтобы больше зарабатывать. У нас нет такой задачи, там и трафика-то кот наплакал уже»

🔸 «Добрый день. Наверное у нас тоже они есть, особенно копипастеров много. Сейчас и атаки ботами идут нередко. У меня администраторы сервера защиту включают, если много вхождений, то выключают IP»

🔸 «Не сталкивался»

🔸 «Добрый по нам тоже ходят, но тут не побороть никак
Их сложно отличить от полезных… адреса меняются, заголовки как у браузеров…. бессмысленное занятие
как-то метрика их отлавливает, но в режиме реального времени такое себе…»

🔸 «Не отслеживаем и не собираемся»

🔸 «Пользуемся, да. WSR. Сейчас как раз стоит повышенная защита, вчера ночью был мощный ддос на нас»

🔸 «Здравствуйте. Ботов которые бы писали сообщения практически нет, у меня есть система антиспама, она неплохо работает, поэтому они прекратили попытки. Есть DDoS атаки, с ними борюсь с помощью сервиса ddos-guard.net
Роботов также рубит этот сервис»

Надеемся, вам была полезна эта информация.

Если хотите что-то добавить, свяжитесь с нами по почте support@luxupnetwork.com
Спасибо!