免费套餐的每月 50 万页面浏览量限制是否包含网络爬虫的页面浏览量？
作为 Discourse 论坛的管理员，我注意到网络爬虫占我们总页面浏览量的 95% 以上。尽管如此，我们每月的页面浏览量仍低于 50 万。话虽如此，爬虫流量和总体页面浏览量在过去几年中一直呈稳定上升趋势。
鉴于此，了解如何监控和管理爬虫活动变得越来越重要——特别是对于刚开始运营 Discourse 实例的管理员而言。
初始站点设置文档中包含关于以下内容的明确指导可能会很有益：
- 如何计算页面浏览量（包括是否包含爬虫流量）
- 如何监控爬虫活动
- 在适当情况下管理或限制爬虫流量的方法
