Demasiados Crawlers, ¿es eso un problema?

Solo debes bloquear a los bots que están causando problemas y dejar todo lo demás sin bloquear.

Como mencioné en mi publicación anterior. Si vas a

your.site.com/admin/reports/web_crawlers

Obtendrás una lista completa de todos los rastreadores en tu sitio y el número de vistas de página por rastreador. ¿Podrías hacer una captura de pantalla de esa página y publicarla aquí?