Trop de crawlers, est-ce un problème ?

Vous pouvez consulter des chiffres détaillés par moteur d’indexation en visitant

your.site.com/admin/reports/web_crawlers

Si vous remarquez un moteur d’indexation inhabituel qui se comporte de manière anormale, vous pouvez ajouter une chaîne unique issue de son user agent au paramètre blacklisted_crawler_user_agents, ce qui entraînera son blocage.