Melhorando a detecção e sinalização de possíveis crawlers em seus dados de tráfego

O desafio é que os “prováveis rastreadores” frequentemente usam user agents legítimos. Às vezes, a versão do navegador parece bastante antiga, mas isso não é um sinal forte o suficiente para considerá-lo um provável bot. É por isso que coletamos tantas métricas e tentamos combiná-las para avaliar a probabilidade.

Quando o rastreador se apresenta honestamente por meio de um user agent como Bingbot ou Googlebot, ele é classificado diretamente na categoria “rastreadores”.

1 curtida