Здравствуйте, Видьяранджан,
Попробуйте проверить /admin/reports/web_crawlers для получения подробного отчета о краулерах. Затем вы можете заблокировать тех из них, которые, по вашему мнению, не приносят пользы, добавив их в настройку сайта «blocked crawler user agents». Эта настройка принимает слово без учета регистра, которое присутствует в строке user agent.