В июле у меня возникли проблемы с огромным количеством запросов из Сингапура. Я заблокировал диапазон IP-адресов, что сработало на какое-то время, но в августе проблема вернулась с новой силой (из Сингапура, Гонконга и Мексики), что привело к высоким и неожиданным затратам на CDN 
Я заметил высокий трафик просмотров страниц от Amazonbot, DataForSeoBot, meta-externalagent, SeekportBot и других…
В этой документации Controlling Web Crawlers For a Site сказано:
Этот список не содержит некоторых из самых активных ботов, которые посещают мой сайт, но у меня всё же есть вопрос.
Было бы разумно добавить весь этот список в настройку Заблокированные user-agent краулеров?
Есть ли способ массово добавить имена ботов из файла .txt?