Высокая нагрузка на краулеры?

Вы можете увидеть, кто это:

/admin/reports/web_crawlers

И добавить их сюда:

admin/site_settings/category/all_results?filter=crawler user agents