Вы можете увидеть подробные данные по каждому роботу-индексатору, перейдя по адресу
your.site.com/admin/reports/web_crawlers
Если вы обнаружите подозрительного робота, который работает некорректно, вы можете добавить уникальную строку из его User-Agent в настройку blacklisted_crawler_user_agents, и он будет заблокирован.