あなたのサイトが公開されており、SEO が重要である場合、あなたのデータを有用なインデックスに追加するすべてのボットは「必須」となります。トラフィックのソースを確認し、ボットと比較してみてください。相関関係は見られますか?
ここでのより良い解決策は、ボットのホワイトリストかもしれませんね?
あなたのサイトが公開されており、SEO が重要である場合、あなたのデータを有用なインデックスに追加するすべてのボットは「必須」となります。トラフィックのソースを確認し、ボットと比較してみてください。相関関係は見られますか?
ここでのより良い解決策は、ボットのホワイトリストかもしれませんね?