Puedes ver números detallados por rastreador si visitas
your.site.com/admin/reports/web_crawlers
Si detectas un rastreador inusual que está causando problemas, puedes agregar una cadena única de su agente de usuario a la configuración blacklisted_crawler_user_agents y será bloqueado.