はい、もちろん、私がこのクリーンアップ管理をクローラーごとに、ほぼ週に一度の分析で、どのクローラーが最もサイトを侵食しているかを検出し、それらを一つずつブロックしていることを付け加えるのを忘れていました。 懸念しているのは、ブラックリストにあまりにも多くのボットを追加することが、サイトのパフォーマンスに何らかの影響を与えるのではないかということです。 そこで、一つずつブロックする代わりに、必要なボットをホワイトリストに追加し、それ以外はすべてブロックする方がよいのではないかと考えました。しかし、本当に「必要なトラッカー」というものは存在するのでしょうか？ フォーラムで「必須クローラー」に特化した議論がないか探しましたが、見つかりませんでした。もしこのトピックに関連する話題をご存知でしたら、お知らせください。
「いいね！」 1