O painel administrativo agora pode identificar tráfego provável de crawlers — bots automatizados e scrapers que usam JavaScript de navegador real, mas não são visitantes humanos — e separar essas visualizações de página dos seus números de tráfego genuíno.
Neste tópico, compartilharemos como abordamos a identificação desse tráfego e como você pode ativar este recurso hoje mesmo.
O que mudou
O Discourse sempre filtrou os Crawlers que se identificam com user agents padrão de bots (como o Googlebot) em uma categoria separada dos dados de tráfego do site. Mas o tráfego automatizado moderno é mais astuto: ele roda um navegador completo, executa JavaScript e se mistura aos seus dados de visualização de página como se fosse uma visita real. Os administradores viam picos de tráfego nas visualizações Anônimo que se revelavam ser scrapers, ou contagens de visitantes infladas por bots de IA — sem nenhuma maneira de diferenciá-los do tráfego humano verdadeiramente anônimo (ou seja, não conectado).
Esta atualização adiciona uma categoria Prováveis Crawlers aos seus dados de tráfego do site. Quando a detecção aprimorada de crawlers está ativada, as visualizações de página que nossas heurísticas marcam como provavelmente automatizadas são separadas, tornando seus números de tráfego humano mais precisos.
Como funciona a detecção
O sistema pontua cada visualização de página no navegador usando um conjunto de sinais comportamentais:
- User agent de automação — o UA nomeia explicitamente um navegador headless ou ferramenta de automação (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- ASN de crawler verificado — o número de sistema autônomo (ASN) do IP é uma rede de crawler conhecida (Baidu, Ahrefs, Yandex, Internet Archive, etc.)
- ASN de datacenter — o IP está no espaço de endereçamento de um grande provedor de nuvem ou hospedagem
- Velocidade — o IP + user agent gera um número incomum de visualizações de página por hora
- Navegação rápida — a lacuna mediana entre as visualizações de página é inferior a 5 segundos
- Rotatividade de sessões — muitas sessões curtas (geralmente de uma página cada) do mesmo IP + user agent
- Falta de engajamento — nenhuma interação humana registrada (movimento do mouse, teclas digitadas, rolagem) para uma sessão e suas vizinhas. Este sinal tem mais peso para tráfego anônimo do que para tráfego conectado.
- Proporção de encaminhadores ruins — a maioria das visualizações chega sem encaminhador (referrer) ou com um externo, sugerindo acesso direto por URL em vez de navegação através do site
- Requisição direta única — uma única visualização de página sem engajamento e sem encaminhador; pontua mais alto se a URL carregar um parâmetro de localidade
- Rotação rápida de IP — múltiplos IPs usados dentro de uma única sessão, ciclando mais rápido do que um humano faria
- Chromium obsoleto — uma versão desatualizada do Chrome sem sinais de engajamento
- Tráfego distribuído — alguns crawlers rotacionam endereços IP e iniciam uma nova sessão para quase todas as visualizações de página. Agora procuramos por padrões entre visitas anônimas que compartilham um user agent e uma rede ou uma fonte de encaminhamento externa
As pontagens de múltiplos sinais se acumulam; quando uma visualização de página apresenta uma determinada quantidade dos sinais acima, nós a classificamos como provável crawler.
Ativando a detecção aprimorada de crawlers na sua comunidade
Por enquanto, esta é considerada uma mudança experimental. Ainda estamos ajustando as heurísticas de detecção e agradecemos feedback.
Para ativar, vá até a página Mudanças futuras na sua área de administração e procure o item Detecção aprimorada de crawlers. Atualize o campo Ativado para… para habilitar seu site.
Uma vez ativado, a seção Tráfego do Site no seu painel administrativo mostrará prováveis crawlers como uma categoria separada.
Notas importantes:
- Isto não é uma ciência exata e continuaremos a refinar nossas heurísticas com o tempo. No entanto, não realizaremos o preenchimento retroativo (backfill) conforme atualizamos esses cálculos.
- Classificar uma visualização de página como provável crawler não nega nem limita a taxa (rate-limit) da requisição.
- Visualizações de prováveis crawlers são excluídas dos encaminhadores, países e outras quebras de tráfego — da mesma forma que os crawlers conhecidos são tratados hoje.
- Alterações nas regras de detecção não reprocessam automaticamente todo o tráfego histórico.
O que você acha?
Adoraríamos receber seu feedback — especialmente de comunidades que notaram padrões de tráfego incomuns ou picos inexplicáveis. Os números parecem corretos para o seu site? Há visitas sendo sinalizadas que parecem usuários reais para você? Compartilhe o que você está vendo neste tópico.
