Você deve bloquear apenas os bots que estão se comportando mal e deixar tudo o mais desbloqueado.
Como mencionei em minha postagem anterior. Se você for para
your.site.com/admin/reports/web_crawlers
Você obterá uma lista completa de todos os crawlers no seu site e o número de visualizações de página por crawler. Você pode tirar uma captura de tela dessa página e postá-la aqui?