課題は、「クローラーの可能性が高い」とされるものの多くが、正当なユーザーエージェントを使用しているという点です。ブラウザのバージョンがかなり古いように見えることもありますが、それだけではボットと判断する十分なシグナルとは言えません。そのため、私たちは多くのメトリクスを収集し、それらを組み合わせることで可能性を評価しています。
クローラーが Bingbot や Googlebot のようなユーザーエージェントで正直に自己紹介した場合、それは直接「クローラー」のカテゴリに分類されます。
「いいね！」 1