Você pode ver números detalhados por crawler se visitar
your.site.com/admin/reports/web_crawlers
Se você detectar um crawler incomum que está se comportando de forma inadequada, pode adicionar uma string exclusiva do seu user agent à configuração blacklisted_crawler_user_agents e ele será bloqueado.