Ciao Vidyaranjan,
Prova a controllare /admin/reports/web_crawlers per un rapporto dettagliato sui crawler. Puoi quindi procedere a bloccare quelli che non ritieni utili o pertinenti aggiungendoli all’impostazione del sito blocked crawler user agents. Tale impostazione richiede una parola, senza distinzione tra maiuscole e minuscole, che deve essere presente nella stringa dell’user agent.