Stranik
(Evgeny)
2
誰がアクセスしているか確認できます:
/admin/reports/web_crawlers
ここで追加できます:
admin/site_settings/category/all_results?filter=crawler user agents
Google が robots.txt の動作を変更したため、最近、クロール規則について多くの混乱が生じています。そのため、これはもしかすると正常な状態かもしれません。
データが示すものを除き、不正なクローラーがいます!サイト設定からブロックしてください。