Il ne devrait rien y avoir de plus à faire… ce trafic de robots provient probablement de robots accédant à community.yoursite.com/login. Si vous consultez community.example.com/admin/reports/web_crawlers, vous pouvez voir à quelle fréquence des robots spécifiques accèdent à votre site.
Voici quelques actions que vous pouvez entreprendre pour réduire ce trafic de robots…
-
Essayez d’interdire l’accès à
/loginaux robots dans le fichier robots.txt (community.example.com/admin/customize/robots)… vous devriez constater une baisse du trafic de robots (bien que probablement pas totale, car certains robots ne respectent pas le fichier robots.txt). -
Examinez les principaux coupables dans
/admin/reports/web_crawlerset ajoutez leurs user-agents aux paramètres du site « user-agents de robots bloqués ».