因为这些爬虫是“资源吞噬型流氓机器人”，它们消耗大量服务器资源，却给网站带来的价值微乎其微。
当然，你可以自定义 Discourse 的 robots.txt 文件并在需要时允许它们访问；但我们在 Discourse 发布之前很久就已经在自己的网站上屏蔽了这些爬虫，并且一直保持着屏蔽状态。
备注（已编辑）：
我忘了提到，许多这类“资源吞噬型流氓机器人”并不遵守 robots.txt 规则，因此必须在 HTTP User Agent 层面进行屏蔽。一般来说，我们会在反向代理层面通过 mod_rewrite 来屏蔽这些“不守规矩的资源吞噬型流氓机器人”（顺便一提，这也是在反向代理后面运行的众多好处之一）。