如何防止机器人爬取我的 Discourse 实例？

[codinghorror (Jeff Atwood)]

在站点设置中搜索“crawler”。

使用“屏蔽的爬虫用户代理”和“允许的爬虫用户代理”站点设置。