J’ai eu des problèmes en juillet avec une tonne de requêtes provenant de Singapour. J’ai bloqué une plage d’adresses IP, ce qui a fonctionné pendant un certain temps, mais le problème est revenu plus fort en août (depuis Singapour, Hong Kong et le Mexique) avec des coûts CDN élevés et inattendus 
J’ai remarqué un nombre élevé de pages vues provenant d’Amazonbot, DataForSeoBot, meta-externalagent, SeekportBot, etc…
Cette documentation Controlling Web Crawlers For a Site dit :
Cette liste ne contient pas certains de mes robots les plus visités, mais j’ai néanmoins une question.
Serait-il conseillé d’ajouter toute cette liste au paramètre Agents utilisateur de robots bloqués ?
Existe-t-il un moyen d’ajouter en masse des noms de robots à partir d’un fichier .txt ?