社区里的爬行者

[Ranjan]

各位团队好，

在社区仪表板中，我看到有很多爬虫登录到网站。我无法确定它们是谁，也不清楚它们是如何到达这里的。

这些访客是谁？
如何查看他们的活动以及他们具体在进行哪些操作？
如何追踪他们？

请提供相关信息。

祝大家有美好的一天！

谢谢，
Vidyaranjan

[osioke (Osioke Itseuwa)]

你好 Vidyaranjan，

请查看 /admin/reports/web_crawlers 以获取有关爬虫的详细报告。然后，您可以通过将它们添加到“屏蔽爬虫用户代理”站点设置中，来屏蔽任何您认为没有帮助或无用的爬虫。该设置接受用户代理字符串中存在的、不区分大小写的单词。

[sebastianh (Rebastion)]

抱歉再次打扰，但我还没找到我需要的信息。首先，报告页面提供的爬虫统计数据只告诉我爬虫页面浏览量及其用户代理，除此之外，关于如何处理这些信息几乎没有其他内容。一般来说，爬虫对我来说不是问题，但爬虫访问量的激增会让仪表盘统计几乎无法使用。

您看，12 月 16 日的一次小幅波动导致所有图表被压缩得难以阅读。此外，这些信息究竟有什么价值？根本没有。那是上周 Google 故障发生的日子，所以很可能在 Google 恢复服务后，所有爬虫都大幅增加了活动量。这没什么大不了的。

所以我的问题是：我能否从主管理仪表盘的统计中排除爬虫？

[ondrej]

@sebastianh

我能否从主管理仪表板的统计信息中移除爬虫？

当然可以。请看仪表板顶部，那里有三个选项：

已登录用户

匿名用户

爬虫

只需点击“爬虫”，即可将其移除。

[sebastianh (Rebastion)]

啊哈，太感谢了，我都不知道可以点击这些。