Hallo Vidyaranjan,
Überprüfe /admin/reports/web_crawlers, um einen detaillierten Bericht über die Crawler zu erhalten. Anschließend kannst du diejenigen blockieren, die du nicht hilfreich oder nützlich findest, indem du sie zur Site-Einstellung „blockierte Crawler-Benutzeragenten