新しい Googlebot 検出？

サポート
1

forum.makerforums.info で匿名（ボットではない）のページビューが急増していることに気づき、それらが 66.249/16 ネットブロック内の crawl-$IP.googlebot.com ホスト名に関連していることを発見しました。Google が最近、ユーザーエージェント文字列を変更することを発表したことを確認しました：

https://webmasters.googleblog.com/2019/10/updating-user-agent-of-googlebot.html

関連する 2 つの懸念点があります：

  • レポート（軽微）：グラフが「クローラー」の活動としてではなく「匿名」として表示されていたため、レポートが正しくありませんでした。
  • インデックス作成（重要）：ページ全体を表示し、無限スクロールを無効化するコードは、新しいユーザーエージェントと互換性がありますか？（もしそうでなければ、私たちはひどくインデックスから外れていた可能性があります…）
2

ブログ記事で言及されているユーザーエージェントを使ってクローラー検出をテストしましたが、すべて正常に動作しています。お好みのブラウザプラグインを使用して、いずれかのユーザーエージェントを設定し、ご自身のサイトにアクセスすれば、ご自身でもテストいただけます。

レポート機能は、同じクローラー検出に依存する RequestTracker のデータを使用しています。そのため、なぜボットが匿名トラフィックとしてカウントされているのか、私には理由がわかりません。

3

あ、なるほど！新しいユーザーエージェントを見たと勘違いしていましたが、それは間違いでした。ログ検索が不十分でしたね。私が目にした新しい Chrome のバージョン文字列は、google-proxy-$IP.google.com からのものであり、Google プロキシを介した実際のトラフィックでした。

大変申し訳ありません。もっと深く調査すべきでした。しかし、これで次に混乱して検索してくる人のために、新しいユーザーエージェント文字列は問題ないという記録が残ることになりました！:smiling_face:

:blush: