Панель администратора теперь может идентифицировать потенциальный трафик ботов — автоматизированных ботов и скраперов, которые используют реальный JavaScript в браузере, но не являются живыми посетителями — и отделять эти просмотры страниц от ваших настоящих показателей трафика.
В этой теме мы поделимся тем, как мы подошли к выявлению такого трафика, и расскажем, как можно включить эту функцию уже сегодня.
Что изменилось
Discourse всегда фильтровал Crawlers, которые идентифицируют себя стандартными пользовательскими агентами ботов (например, Googlebot), выделяя их в отдельную категорию данных о трафике сайта. Однако современный автоматизированный трафик стал более хитрым: он запускает полноценный браузер, выполняет JavaScript и незаметно интегрируется в данные о просмотрах страниц, создавая впечатление реального посещения. Администраторы видели всплески трафика в категории Анонимные просмотры, которые на деле оказывались скраперами, или завышенные числа посетителей из-за AI-ботов — при этом не было возможности отличить их от настоящего анонимного (то есть не авторизованного) человеческого трафика.
Это обновление добавляет категорию Потенциальные боты в данные о трафике вашего сайта. Когда улучшенное обнаружение ботов включено, просмотры страниц, которые наши эвристические алгоритмы помечают как потенциально автоматизированные, выделяются отдельно, что делает показатели вашего человеческого трафика более точными.
Как работает обнаружение
Система оценивает каждый просмотр страницы в браузере, используя набор поведенческих сигналов:
- User-agent автоматизации — UA явно указывает на headless-браузер или инструмент автоматизации (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- ASN дата-центра — IP-адрес находится в адресном пространстве крупного облачного провайдера или хостинг-провайдера
- Скорость — комбинация IP-адреса и user-agent генерирует аномально много просмотров страниц в час
- Быстрая навигация — медианный промежуток между просмотрами страниц составляет менее 5 секунд
- Частая смена сессий — много коротких сессий (в основном по одной странице) с одного и того же IP-адреса и user-agent
- Отсутствие вовлеченности — для сессии и соседних сессий не зафиксированы человеческие взаимодействия (движения мыши, нажатия клавиш, прокрутка). Этот сигнал имеет больший вес для анонимного трафика, чем для авторизованных пользователей.
- Доля плохих рефереров — большинство просмотров поступают без реферера или с внешним реферером, что указывает на прямой доступ по URL, а не на навигацию по сайту
- Одиночный прямой запрос — одиночный просмотр страницы без взаимодействия и без реферера; имеет больший вес, если URL содержит параметр локали
- Устаревший Chromium — устаревшая версия Chrome без сигналов вовлеченности
- Распределенный трафик — некоторые боты ротируют IP-адреса и начинают новую сессию почти для каждого просмотра. Теперь мы ищем закономерности среди анонимных посещений, которые разделяют один и тот же user-agent и либо сеть, либо источник внешнего реферала
Оценки из нескольких сигналов складываются; когда просмотр страницы содержит определенное количество указанных выше сигналов, он классифицируется как потенциальный бот.
Включение улучшенного обнаружения ботов в вашем сообществе
На данный момент это изменение считается экспериментальным. Мы все еще настраиваем эвристические алгоритмы обнаружения и рады отзывам.
Чтобы включить эту функцию, перейдите на страницу Ожидаемые изменения в области администрирования и найдите пункт Улучшенное обнаружение ботов. Обновите поле Включено для…, чтобы активировать функцию на вашем сайте.
После включения раздел «Трафик сайта» в панели администратора будет показывать потенциальных ботов как отдельную категорию.
Важные примечания:
- Это не точная наука, и мы будем продолжать совершенствовать наши эвристические алгоритмы со временем. Однако мы не будем пересчитывать исторические данные при обновлении этих расчетов.
- Классификация просмотра страницы как потенциально автоматизированного не приводит к отказу в обслуживании или ограничению скорости запроса.
- Просмотры потенциальных ботов исключаются из разбивок по реферерам, странам и другим категориям трафика — так же, как и известные боты сегодня.
- Изменения в правилах обнаружения не приводят к автоматической повторной обработке всего исторического трафика.
Что вы думаете?
Мы будем рады вашим отзывам — особенно от сообществ, которые заметили необычные паттерны трафика или необъяснимые всплески. Выглядят ли цифры правильными для вашего сайта? Есть ли посещения, которые помечаются как подозрительные, но кажутся вам реальными пользователями? Поделитесь своими наблюдениями в этой теме.

