Vous ne devriez bloquer que les bots qui se comportent mal et laisser le reste débloqué.
Comme je l’ai mentionné dans mon message précédent. Si vous allez sur
your.site.com/admin/reports/web_crawlers
Vous obtiendrez une liste complète de tous les robots d’exploration sur votre site et le nombre de vues de page par robot. Pouvez-vous faire une capture d’écran de cette page et la poster ici ?