爬虫太多,会有问题吗?

您只应屏蔽行为不当的机器人,其余一律保持未屏蔽状态。

正如我在上一篇文章中提到的,如果您访问

your.site.com/admin/reports/web_crawlers

您将看到网站上所有爬虫的完整列表,以及每个爬虫的页面浏览量。您能否对该页面进行截图并发布在这里?