No deberías tener que hacer nada más… ese tráfico de rastreo probablemente proviene de bots que acceden a community.yoursite.com/login. Si revisas community.example.com/admin/reports/web_crawlers, podrás ver con qué frecuencia los rastreadores específicos acceden a tu sitio.
Hay algunas cosas que puedes hacer para reducir el tráfico de rastreo…
-
Intenta prohibir el acceso a
/loginpara los rastreadores en el archivo robots.txt (community.example.com/admin/customize/robots)… probablemente verás una disminución en el tráfico de rastreo (aunque no por completo, ya que hay rastreadores que no respetan el archivo robots.txt). -
Revisa los principales infractores en
/admin/reports/web_crawlersy agrega sus user-agents a la configuración del sitio “blocked crawler user agents”.