Панель администратора теперь может определять вероятный трафик от веб-ползунков — автоматизированных ботов и скраперов, которые используют реальный JavaScript браузера, но не являются людьми-посетителями, — и отделять эти просмотры страниц от ваших реальных показателей трафика.
В этой теме мы расскажем, как мы подошли к вопросу идентификации такого трафика и как вы можете включить эту функцию уже сегодня.
Что изменилось
Discourse всегда фильтровал Crawlers (веб-ползунков), которые идентифицируют себя с помощью стандартных user-agent ботов (например, Googlebot), в отдельную категорию данных о трафике сайта. Однако современный автоматизированный трафик хитрее: он запускает полноценный браузер, выполняет JavaScript и маскируется в данных просмотров страниц, имитируя реальное посещение. Администраторы видели всплески трафика в просмотрах страниц Anonymous (Анонимные), которые оказывались скраперами, или завышенное количество посетителей из-за ИИ-ботов — при этом не было способа отличить их от настоящего анонимного (то есть не вошедшего в систему) человеческого трафика.
Это обновление добавляет категорию Likely Crawlers (Вероятные веб-ползунки) в данные о трафике вашего сайта. Когда улучшенное определение веб-ползунков включено, просмотры страниц, которые наши эвристические алгоритмы помечают как вероятные автоматизированные, выносятся в отдельную категорию, что делает показатели человеческого трафика более точными.
Как работает определение
Система присваивает каждому просмотру страницы в браузере балл на основе набора поведенческих сигналов:
- User agent автоматизации — UA явно указывает на headless-браузер или инструмент автоматизации (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- Подтвержденный ASN веб-ползунка — номер автономной системы (ASN) IP-адреса принадлежит известной сети веб-ползунков (Baidu, Ahrefs, Yandex, Internet Archive и т. д.)
- ASN дата-центра — IP-адрес находится в адресном пространстве крупного облачного или хостинг-провайдера
- Скорость (Velocity) — IP + user agent генерирует необычно много просмотров страниц в час
- Быстрая навигация — медианное время между просмотрами страниц составляет менее 5 секунд
- Высокая текучесть сессий (Session churn) — множество коротких сессий (в основном по одной странице) с одного и того же IP + user agent
- Отсутствие вовлеченности — за сессию и соседние сессии не зафиксировано человеческого взаимодействия (движение мыши, нажатия клавиш, прокрутка)
- Плохое соотношение реффереров — большинство просмотров страниц приходят без рефферера или с внешним рефферером, что указывает на прямой доступ по URL, а не на навигацию по сайту
- Одиночный прямой запрос — одиночный просмотр страницы без взаимодействия и без рефферера; получает более высокий балл, если URL содержит параметр локали
- Быстрая ротация IP — использование нескольких IP-адресов в рамках одной сессии с частотой, превышающей человеческие возможности
- Устаревший Chromium — устаревшая версия Chrome без сигналов вовлеченности
Баллы от нескольких сигналов суммируются; когда просмотр страницы имеет определенное количество вышеуказанных сигналов, мы классифицируем его как likely crawler (вероятный веб-ползунок).
Включение улучшенного определения веб-ползунков в вашем сообществе
Пока это считается экспериментальным изменением. Мы все еще настраиваем эвристические алгоритмы определения и приветствуем обратную связь.
Чтобы включить эту функцию, перейдите на страницу Upcoming changes (Предстоящие изменения) в админ-панели и найдите пункт Improved crawler detection (Улучшенное определение веб-ползунков). Обновите поле Enabled for… (Включено для…) для подключения вашего сайта.
После включения раздел «Трафик сайта» в панели администратора будет отображать вероятных веб-ползунков как отдельную категорию.
Важные примечания:
- Это не точная наука, и мы будем продолжать совершенствовать наши эвристические алгоритмы со временем. Однако мы не будем пересчитывать данные задним числом при обновлении этих вычислений.
- Классификация просмотра страницы как вероятного веб-ползунка не приводит к отказу в обслуживании или ограничению частоты запросов.
- Просмотры страниц от вероятных веб-ползунков исключаются из разбивки по рефферерам, странам и другим показателям трафика — так же, как это делается сегодня с известными веб-ползунками.
Что вы об этом думаете?
Мы будем рады получить вашу обратную связь — особенно от сообществ, которые заметили необычные паттерны трафика или необъяснимые всплески. Цифры выглядят корректно для вашего сайта? Есть ли посещаемость, которая помечается, но вам кажется, что это реальные пользователи? Поделитесь тем, что вы видите, в этой теме.
