Melhorando como detectamos e sinalizamos prováveis crawlers em seus dados de tráfego

O painel de administração agora consegue identificar o tráfego provável de crawlers — bots automatizados e scrapers que utilizam JavaScript de navegador real, mas que não são visitantes humanos — e separar essas visualizações de página dos seus números de tráfego genuíno.

Neste tópico, mostraremos como abordamos a identificação desse tráfego e como você pode ativar esse recurso hoje mesmo.

:microscope: O que mudou

O Discourse sempre filtrou Crawlers que se identificam com user agents padrão de bots (como o Googlebot) em uma categoria separada dos dados de tráfego do site. Mas o tráfego automatizado moderno é mais astuto: ele executa um navegador completo, roda JavaScript e se mistura aos seus dados de visualizações de página como se fosse uma visita real. Os administradores viam picos de tráfego nas visualizações de página Anônimas que acabavam sendo scrapers, ou contagens de visitantes infladas por bots de IA — sem ter como distinguir entre esses bots e o verdadeiro tráfego humano anônimo (ou seja, não conectado).

Esta atualização adiciona uma categoria Crawlers Prováveis aos dados de tráfego do seu site. Quando a detecção aprimorada de crawlers estiver ativada, as visualizações de página que nossas heurísticas sinalizam como provavelmente automatizadas são separadas, tornando seus números de tráfego humano mais precisos.

Como funciona a detecção

O sistema avalia cada visualização de página via navegador usando um conjunto de sinais comportamentais:

  • User agent de automação — o UA nomeia explicitamente um navegador sem interface gráfica (headless) ou ferramenta de automação (HeadlessChrome, Playwright, Puppeteer, Selenium, PhantomJS, jsdom)
  • ASN de datacenter — o IP está no espaço de endereçamento de um grande provedor de nuvem ou hospedagem
  • Velocidade — o IP + user agent gera um número incomumente alto de visualizações de página por hora
  • Navegação rápida — a lacuna mediana entre as visualizações de página é inferior a 5 segundos
  • Rotatividade de sessão — muitas sessões curtas (geralmente de uma página cada) vindas do mesmo IP + user agent
  • Falta de engajamento — nenhuma interação humana registrada (movimento do mouse, teclas digitadas, rolagem de tela) para uma sessão e suas vizinhas. Este sinal tem mais peso para tráfego anônimo do que para tráfego conectado.
  • Taxa alta de referenciadores ausentes — a maioria das visualizações chega sem referenciador ou com um externo, sugerindo acesso direto por URL em vez de navegação pelo site
  • Requisição direta única — uma única visualização de página sem engajamento e sem referenciador; pontua mais alto se a URL contiver um parâmetro de localidade (locale)
  • Chromium desatualizado — uma versão antiga do Chrome sem sinais de engajamento
  • Tráfego distribuído — alguns crawlers rotacionam endereços IP e iniciam uma nova sessão para quase todas as visualizações de página. Agora buscamos padrões entre visitas anônimas que compartilham um user agent e, ou uma rede ou uma fonte de referenciamento externa

As pontuações de múltiplos sinais se acumulam; quando uma visualização de página atinge certo número dos sinais acima, ela é classificada como crawler provável.

:gear: Ativando a detecção aprimorada de crawlers na sua comunidade

Por enquanto, esta é considerada uma mudança experimental. Ainda estamos ajustando as heurísticas de detecção e agradecemos o feedback.

Para ativá-la, acesse a página Próximas mudanças na sua área administrativa e encontre o item Detecção aprimorada de crawlers. Atualize o campo Ativado para… para incluir seu site.

Uma vez ativada, a seção Tráfego do Site no seu painel de administração mostrará os crawlers prováveis como uma categoria separada.

:warning: Observações importantes:

  • Isso não é uma ciência exata e continuaremos a aprimorar nossas heurísticas ao longo do tempo. No entanto, não faremos recálculos históricos (backfill) à medida que atualizarmos esses cálculos.
  • Classificar uma visualização de página como um crawler provável não nega nem aplica rate limiting (limitação de taxa) à requisição.
  • As visualizações de páginas de crawlers prováveis são excluídas de referenciadores, países e outras quebras de tráfego — da mesma forma que os crawlers conhecidos são tratados atualmente.
  • Alterações nas regras de detecção não reprocessam automaticamente todo o tráfego histórico.

:mega: O que você acha?

Adoraríamos o seu feedback — especialmente de comunidades que notaram padrões de tráfego incomuns ou picos inexplicáveis. Os números estão parecendo corretos para o seu site? Há visitas sendo sinalizadas que parecem usuários reais para você? Compartilhe o que você está vendo neste tópico.

21 curtidas

Soa bom, mas ele também considera os usuários conectados para esses sinais?

1 curtida

Os likely crawlers ainda serão contados no limite mensal de visualizações de página? :slightly_smiling_face:

1 curtida

Esqueci de editar a URL de algo que colei ao usar um modelo, e em um fórum em construção tive um pico de 35.000%.

Ainda tenho a pendência de instalar um pequeno modelo local para limpar quaisquer referências reais ao que estou trabalhando.

É ótimo ter essa opção como um segundo filtro. Obrigado por terem construído isso.

É uma ótima pergunta, e uma sobre a qual ainda não tomamos uma decisão — esperamos precisar ajustar finamente nossos modelos de detecção de rastreadores, e como essa é uma funcionalidade opcional, ainda não sabemos qual impacto, se houver, isso terá nos limites de visualizações de página.

Vamos retomar essa conversa internamente e entrarei em contato para te manter atualizado!

4 curtidas

Obrigado pelo empenho aqui. É provável que a capacidade de tomar medidas contra eles, uma vez que você estiver satisfeito com o algoritmo de detecção, seja um item do roteiro?

2 curtidas

Seria ótimo se pudéssemos obter uma lista dos user agents que ele identificou, ou que considera prováveis bots/crawlers.

Isso é útil para que possam ser adicionados aos grupos bloqueados ou com limitação de taxa.

3 curtidas

Sim, também tentamos detectar automações com usuários conectados. No Meta, encontramos alguns “usuários” com nível de confiança 0 que estavam varrendo o site.

2 curtidas

O desafio é que os “prováveis rastreadores” frequentemente usam user agents legítimos. Às vezes, a versão do navegador parece bastante antiga, mas isso não é um sinal forte o suficiente para considerá-lo um provável bot. É por isso que coletamos tantas métricas e tentamos combiná-las para avaliar a probabilidade.

Quando o rastreador se apresenta honestamente por meio de um user agent como Bingbot ou Googlebot, ele é classificado diretamente na categoria “rastreadores”.

2 curtidas

De fato. Com as estatísticas que a equipe de discurso conseguia extrair do backend, os agentes de usuário mais obscuros tendiam a apresentar um aumento de curto prazo nos padrões de acesso, o que nos permitia remover alguns da lista sem impactar os usuários.

Não é uma ciência exata. Ser capaz de mapear isso para regiões geográficas específicas provavelmente também adicionaria uma melhor resolução ao gerenciá-los.

2 curtidas