爬虫太多，会有问题吗？

社区 数据与报告
2

如果您访问

your.site.com/admin/reports/web_crawlers

即可查看每个爬虫的详细数据。

如果您发现某个异常且行为不当的爬虫，可以将其用户代理中的唯一字符串添加到 blacklisted_crawler_user_agents 设置中，该爬虫将被阻止。