Sie können detaillierte Zahlen pro Crawler einsehen, wenn Sie
your.site.com/admin/reports/web_crawlers
aufrufen.
Wenn Sie einen ungewöhnlichen Crawler entdecken, der sich fehlerhaft verhält, können Sie einen eindeutigen String aus dessen User-Agent zur Einstellung blacklisted_crawler_user_agents hinzufügen. Dadurch wird der Crawler blockiert.