Olá Vidyaranjan,
Tente verificar /admin/reports/web_crawlers para obter um relatório detalhado sobre os crawlers. Em seguida, você pode bloquear aqueles que não achar úteis ou benéficos, adicionando-os à configuração do site blocked crawler user agents. Essa configuração aceita uma palavra, sem distinção entre maiúsculas e minúsculas, que exista na string do user agent.