Neue Googlebot-Erkennung?

Wir haben einen Anstieg bei anonymen (nicht von Bots stammenden) Seitenaufrufen auf forum.makerforums.info festgestellt und festgestellt, dass diese mit Hostnamen des Typs crawl-$IP.googlebot.com im Netzblock 66.249/16 verknüpft waren. Ich habe herausgefunden, dass Google kürzlich angekündigt hat, ihre User-Agent-Strings zu ändern:

https://webmasters.googleblog.com/2019/10/updating-user-agent-of-googlebot.html

Zwei damit zusammenhängende Bedenken:

  • Berichterstattung (geringfügig): Die Berichterstattung war schlicht falsch, da die Grafik die Aktivität nicht als „Crawler

Ich habe die Crawler-Erkennung gerade mit den im Blogbeitrag genannten User-Agents getestet, und alles sieht gut aus. Sie können es selbst testen, indem Sie eine Browser-Erweiterung Ihrer Wahl verwenden, einen der User-Agents einstellen und Ihre Website besuchen.
Die Berichterstattung nutzt Daten aus dem RequestTracker, der auf derselben Crawler-Erkennung basiert, daher bin ich mir nicht sicher, warum Sie Bots als anonymen Verkehr gezählt sehen.

Aha! Ich dachte zwar, die neuen User-Agents gesehen zu haben, aber ich lag falsch. Schlechte Log-Suche. Die neuen Chrome-Version-Strings, die ich sah, stammten von google-proxy-$IP.google.com und waren echter Verkehr, der über den Google-Proxy lief.

Es tut mir sehr leid, ich hätte tiefer graben sollen. Aber ich vermute, jetzt gibt es hier einen Eintrag, dass die neuen User-Agent-Strings in Ordnung sind – für die nächste verwirrte Person, die danach sucht! :smiling_face:

:blush: