Блокируйте только тех ботов, которые ведут себя неправильно, и оставляйте остальные без блокировки.
Как я уже упоминал в предыдущем сообщении. Если вы перейдете по адресу
your.site.com/admin/reports/web_crawlers
вы получите полный список всех краулеров на вашем сайте и количество просмотров страниц для каждого из них. Можете ли вы сделать скриншот этой страницы и опубликовать его здесь?