你好，在我们的论坛中，爬虫数量过多，平均高达81,000到90,000次！这会导致什么问题吗？如果会，我该如何阻止不良爬虫的抓取？
我已将以下爬虫的用户代理列入黑名单：
- mauibot
- semrushbot
- ahrefsbot
- blexbot
- SEO spider
同时，我还对以下爬虫用户代理进行了限速：
- bingbot
谢谢。
如果您访问
your.site.com/admin/reports/web_crawlers
即可查看每个爬虫的详细数据。
如果您发现某个异常且行为不当的爬虫，可以将其用户代理中的唯一字符串添加到 blacklisted_crawler_user_agents 设置中，该爬虫将被阻止。
感谢您的快速回复。我发现某个爬虫有 1,695,285 次浏览量，这正常吗？
另外还有一个问题，我该如何在我的论坛中添加解决方案按钮？我需要安装任何插件吗？
谢谢。
这取决于你的网站规模以及该爬虫的用户代理。例如，你不应该屏蔽 Googlebot。
请查看此处
有哪些机器人是不应该被屏蔽的？是否可以通过聚合页面视图仪表盘找到这些机器人的名称？
您只应屏蔽行为不当的机器人，其余一律保持未屏蔽状态。
正如我在上一篇文章中提到的，如果您访问
your.site.com/admin/reports/web_crawlers
您将看到网站上所有爬虫的完整列表，以及每个爬虫的页面浏览量。您能否对该页面进行截图并发布在这里？
