Abbiamo notato un picco nelle visualizzazioni di pagina anonime (non bot) su forum.makerforums.info e abbiamo scoperto che erano associate a hostnames crawl-$IP.googlebot.com nel blocco di rete 66.249/16. Ho rilevato che Google ha recentemente annunciato l’intenzione di modificare le proprie stringhe user agent:
Reporting (minore): Il report era semplicemente errato, poiché il grafico non mostrava l’attività come “Crawler” ma come “Anonima”
Indicizzazione (importante): Funziona il codice che disattiva lo scrolling infinito mostrando l’intera pagina con i nuovi user agent? (In caso contrario, potremmo semplicemente non essere stati indicizzati correttamente…)
Ho appena testato il rilevamento dei crawler con gli user agent menzionati nel post del blog e tutto sembra funzionare correttamente. Puoi provarlo tu stesso utilizzando un plugin per browser a tua scelta, impostando uno degli user agent e visitando il tuo sito.
Il reporting utilizza i dati del RequestTracker, che si basa sullo stesso rilevamento dei crawler, quindi non sono sicuro del motivo per cui vedi i bot conteggiati come traffico anonimo.
Aha! Pensavo di aver visto i nuovi user agent, ma mi sbagliavo. Cattiva ricerca nei log. Le nuove stringhe di versione di Chrome che ho visto provenivano da google-proxy-$IP.google.com ed erano traffico reale che passava attraverso il proxy di Google.
Mi dispiace molto, avrei dovuto scavare più a fondo. Ma immagino che ora qui ci sia una registrazione che le nuove stringhe di user agent sono corrette per la prossima persona confusa che verrà a cercare!
