クローラーの数が非常に多い?

値が高すぎると思います。何か問題がありますか?

誰がアクセスしているか確認できます:

/admin/reports/web_crawlers

ここで追加できます:

admin/site_settings/category/all_results?filter=crawler user agents

Google が robots.txt の動作を変更したため、最近、クロール規則について多くの混乱が生じています。そのため、これはもしかすると正常な状態かもしれません。

はい、ありがとうございます。

データが示すものを除き、不正なクローラーがいます!サイト設定からブロックしてください。