Tive problemas em julho com muitas solicitações de Singapura. Bloqueei um intervalo de IPs, o que funcionou por um tempo, mas o problema voltou com mais força em agosto (de Singapura, Hong Kong e México) com um custo de CDN alto e inesperado 
Notei um alto número de pageviews de Amazonbot, DataForSeoBot, meta-externalagent, SeekportBot, etc…
Esta documentação Controlling Web Crawlers For a Site diz:
Esta lista não contém alguns dos meus bots mais visitantes, mas tenho uma pergunta mesmo assim.
Seria aconselhável adicionar toda esta lista à configuração Blocked crawler user agents?
Existe uma maneira de adicionar vários nomes de bots de um arquivo .txt?