Мы заметили резкий рост анонимных (не ботовых) просмотров страниц на forum.makerforums.info и обнаружили, что они связаны с именами хостов crawl-$IP.googlebot.com в сетевом блоке 66.249/16. Я выяснил, что Google недавно объявил о намерении изменить свои строки user-agent:
Отчётность (незначительно): Отчётность была некорректной, поскольку график показывал эту активность не как «Поисковые роботы», а как «Анонимные».
Индексация (важно): Работает ли код, отключающий бесконечную прокрутку и показывающий всю страницу целиком, с новыми user-agent? (Если нет, возможно, нас просто плохо проиндексировали…)
Я только что протестировал обнаружение краулеров с помощью пользовательских агентов, упомянутых в блоге, и всё выглядит нормально. Вы можете проверить это самостоятельно, используя любой удобный вам плагин для браузера, установив один из пользовательских агентов и посетив свой сайт.
Отчётность использует данные из RequestTracker, который опирается на то же обнаружение краулеров, поэтому я не уверен, почему вы видите ботов, учитываемых как анонимный трафик.
Ага! Я думал, что видел новые строки user-agent, но ошибся. Плохой поиск по логам. Новые строки версий Chrome, которые я видел, пришли с google-proxy-$IP.google.com и представляли реальный трафик, проходящий через прокси Google.
Мне очень жаль, я должен был копнуть глубже. Но, полагаю, теперь здесь есть запись о том, что новые строки user-agent допустимы, что поможет следующему запутавшемуся человеку, который придёт сюда искать!
