Ich hatte im Juli Probleme mit unzähligen Anfragen aus Singapur. Ich habe einen IP-Bereich blockiert, was eine Weile funktionierte, aber das Problem kam im August härter zurück (aus Singapur, Hongkong und Mexiko) mit hohen und unerwarteten CDN-Kosten 
Ich bemerkte hohe Seitenaufrufe von Amazonbot, DataForSeoBot, meta-externalagent, SeekportBot usw.
Diese Dokumentation Controlling Web Crawlers For a Site besagt:
Diese Liste enthält einige meiner meistbesuchten Bots nicht, aber ich habe trotzdem eine Frage.
Wäre es ratsam, diese ganze Liste zu den Blockierte Crawler User Agents hinzuzufügen?
Gibt es eine Möglichkeit, Bot-Namen aus einer .txt-Datei in großen Mengen hinzuzufügen?