社区里的爬行者

抱歉再次打扰,但我还没找到我需要的信息。首先,报告页面提供的爬虫统计数据只告诉我爬虫页面浏览量及其用户代理,除此之外,关于如何处理这些信息几乎没有其他内容。一般来说,爬虫对我来说不是问题,但爬虫访问量的激增会让仪表盘统计几乎无法使用。

您看,12 月 16 日的一次小幅波动导致所有图表被压缩得难以阅读。此外,这些信息究竟有什么价值?根本没有。那是上周 Google 故障发生的日子,所以很可能在 Google 恢复服务后,所有爬虫都大幅增加了活动量。这没什么大不了的。

所以我的问题是:我能否从主管理仪表盘的统计中排除爬虫?