シンガポールからの大量のリクエストで7月に問題が発生しました。IP範囲をブロックしたところ、一時的に効果がありましたが、8月には問題がより深刻化しました（シンガポール、香港、メキシコから）。CDNのコストも高く、予期せぬものとなりました 
Amazonbot、DataForSeoBot、meta-externalagent、SeekportBotなどからの高いページビューに気づきました…
このドキュメント Controlling Web Crawlers For a Site には次のように書かれています。
このリストには、私の最も訪問数の多いボットの一部は含まれていませんが、それでも質問があります。
ブロックされたクローラーユーザーエージェント設定にこのリスト全体を追加することは推奨されますか？
.txtファイルからボット名を一括追加する方法はありますか？