O painel de administração agora consegue identificar o tráfego provável de crawlers — bots automatizados e scrapers que utilizam JavaScript de navegador real, mas que não são visitantes humanos — e separar essas visualizações de página dos seus números de tráfego genuíno.
Neste tópico, mostraremos como abordamos a identificação desse tráfego e como você pode ativar esse recurso hoje mesmo.
O que mudou
O Discourse sempre filtrou Crawlers que se identificam com user agents padrão de bots (como o Googlebot) em uma categoria separada dos dados de tráfego do site. Mas o tráfego automatizado moderno é mais astuto: ele executa um navegador completo, roda JavaScript e se mistura aos seus dados de visualizações de página como se fosse uma visita real. Os administradores viam picos de tráfego nas visualizações de página Anônimas que acabavam sendo scrapers, ou contagens de visitantes infladas por bots de IA — sem ter como distinguir entre esses bots e o verdadeiro tráfego humano anônimo (ou seja, não conectado).
Esta atualização adiciona uma categoria Crawlers Prováveis aos dados de tráfego do seu site. Quando a detecção aprimorada de crawlers estiver ativada, as visualizações de página que nossas heurísticas sinalizam como provavelmente automatizadas são separadas, tornando seus números de tráfego humano mais precisos.
Como funciona a detecção
O sistema avalia cada visualização de página via navegador usando um conjunto de sinais comportamentais:
- User agent de automação — o UA nomeia explicitamente um navegador sem interface gráfica (headless) ou ferramenta de automação (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
- ASN de datacenter — o IP está no espaço de endereçamento de um grande provedor de nuvem ou hospedagem
- Velocidade — o IP + user agent gera um número incomumente alto de visualizações de página por hora
- Navegação rápida — a lacuna mediana entre as visualizações de página é inferior a 5 segundos
- Rotatividade de sessão — muitas sessões curtas (geralmente de uma página cada) vindas do mesmo IP + user agent
- Falta de engajamento — nenhuma interação humana registrada (movimento do mouse, teclas digitadas, rolagem de tela) para uma sessão e suas vizinhas. Este sinal tem mais peso para tráfego anônimo do que para tráfego conectado.
- Taxa alta de referenciadores ausentes — a maioria das visualizações chega sem referenciador ou com um externo, sugerindo acesso direto por URL em vez de navegação pelo site
- Requisição direta única — uma única visualização de página sem engajamento e sem referenciador; pontua mais alto se a URL contiver um parâmetro de localidade (locale)
- Chromium desatualizado — uma versão antiga do Chrome sem sinais de engajamento
- Tráfego distribuído — alguns crawlers rotacionam endereços IP e iniciam uma nova sessão para quase todas as visualizações de página. Agora buscamos padrões entre visitas anônimas que compartilham um user agent e, ou uma rede ou uma fonte de referenciamento externa
As pontuações de múltiplos sinais se acumulam; quando uma visualização de página atinge certo número dos sinais acima, ela é classificada como crawler provável.
Ativando a detecção aprimorada de crawlers na sua comunidade
Por enquanto, esta é considerada uma mudança experimental. Ainda estamos ajustando as heurísticas de detecção e agradecemos o feedback.
Para ativá-la, acesse a página Próximas mudanças na sua área administrativa e encontre o item Detecção aprimorada de crawlers. Atualize o campo Ativado para… para incluir seu site.
Uma vez ativada, a seção Tráfego do Site no seu painel de administração mostrará os crawlers prováveis como uma categoria separada.
Observações importantes:
- Isso não é uma ciência exata e continuaremos a aprimorar nossas heurísticas ao longo do tempo. No entanto, não faremos recálculos históricos (backfill) à medida que atualizarmos esses cálculos.
- Classificar uma visualização de página como um crawler provável não nega nem aplica rate limiting (limitação de taxa) à requisição.
- As visualizações de páginas de crawlers prováveis são excluídas de referenciadores, países e outras quebras de tráfego — da mesma forma que os crawlers conhecidos são tratados atualmente.
- Alterações nas regras de detecção não reprocessam automaticamente todo o tráfego histórico.
O que você acha?
Adoraríamos o seu feedback — especialmente de comunidades que notaram padrões de tráfego incomuns ou picos inexplicáveis. Os números estão parecendo corretos para o seu site? Há visitas sendo sinalizadas que parecem usuários reais para você? Compartilhe o que você está vendo neste tópico.

