您应该不需要再做其他操作……这些爬虫流量很可能来自访问 community.yoursite.com/login 的爬虫。如果您查看 community.example.com/admin/reports/web_crawlers，可以了解特定爬虫访问您网站的频率。
您可以采取以下一些措施来减少爬虫流量：
-
尝试在 robots.txt 中禁止爬虫访问
/login（路径为community.example.com/admin/customize/robots）……您可能会看到爬虫流量有所下降（但可能无法完全消除，因为有些爬虫并不遵守 robots.txt 规则）。 -
查看
/admin/reports/web_crawlers中问题最严重的爬虫，并将它们的 User-Agent 添加到“屏蔽的爬虫 User-Agent"站点设置中。