Dovresti bloccare solo i bot che si comportano male e lasciare tutto il resto sbloccato.
Come ho menzionato nel mio precedente post. Se vai su
your.site.com/admin/reports/web_crawlers
Otterrai un elenco completo di tutti i crawler sul tuo sito e il numero di visualizzazioni di pagina per ogni crawler. Puoi fare uno screenshot di quella pagina e pubblicarlo qui?