Notamos um pico em visualizações de página anônimas (não de bots) no forum.makerforums.info e descobrimos que elas estavam associadas a nomes de host crawl-$IP.googlebot.com no bloco de rede 66.249/16. Descobri que o Google anunciou recentemente que vai alterar suas strings de user agent:
Relatórios (menor): O relatório estava simplesmente errado, pois o gráfico não mostrava a atividade como de “Crawlers”, mas sim como “Anônima”
Indexação (importante): O código que apresenta a página inteira e desativa o scroll infinito funciona com os novos user agents? (Se não, podemos ter sido mal indexados…)
Acabei de testar a detecção de rastreadores com os user agents mencionados no post do blog e tudo parece estar correto. Você pode testar por conta própria usando um plugin de navegador de sua escolha, configurando um desses user agents e acessando seu site.
O relatório usa dados do RequestTracker, que depende da mesma detecção de rastreadores, então não tenho certeza do motivo pelo qual você está vendo bots sendo contabilizados como tráfego anônimo.
Aha! Embora eu tivesse achado que vi os novos user agents, estava errado. Busca ruim nos logs. As novas strings de versão do Chrome que vi vieram de google-proxy-$IP.google.com e eram tráfego real passando pelo proxy do Google.
Peço desculpas, eu deveria ter investigado mais a fundo. Mas acho que agora fica registrado aqui que as novas strings de user agent estão corretas para a próxima pessoa confusa que vier pesquisar!
