Não deve haver nada adicional que você precise fazer… esse tráfego de rastreador provavelmente vem de bots acessando community.yoursite.com/login. Se você verificar community.example.com/admin/reports/web_crawlers, poderá ver com que frequência rastreadores específicos acessam seu site.
Existem algumas coisas que você pode fazer para reduzir o tráfego de rastreadores…
-
Tente bloquear o acesso de rastreadores ao
/loginno arquivo robots.txt (community.example.com/admin/customize/robots)… você provavelmente verá uma redução no tráfego de rastreadores (embora não seja completa, pois existem rastreadores que não seguem o robots.txt) -
Verifique os maiores infratores em
/admin/reports/web_crawlerse adicione os user-agents deles à configuração do siteblocked crawler user agents