爬虫数量是否过高？

支持
1

我认为这个值太高了。有什么问题吗？

图片
图片826×385 52.4 KB

2

您可以查看具体是哪些爬虫：

/admin/reports/web_crawlers

并将它们添加到此页面：

admin/site_settings/category/all_results?filter=crawler user agents
3

图片
图片821×448 20 KB

4

最近由于 Google 更改了 robots.txt 的行为，关于爬取规则出现了很多变动，因此这可能是正常的。

5

好的，非常感谢。

6

除非您的数据显示并非如此，否则存在一个恶意爬虫！请通过您的站点设置将其屏蔽。