使用 robots.txt 完全阻止私有网站的所有索引

支持
1

你好。我查看了以下讨论：

但并未找到关于此问题的明确答案。如何为 Discourse 站点启用 robots.txt 文件，以指示任何爬虫都不应对其进行索引？这是关于一个私有站点的问题，该站点无需在任何搜索引擎中出现。谢谢！

2

查看该主题中的倒数第二条回复：Needing to edit robots.txt file - where is it? - #42 by Osama

3

啊，漏掉了下面那个。完美。效果非常好。谢谢！

4

另外，请通过访问 discourse.yoursite.com/wizard 重新运行向导，确保已开启“需要登录”设置。这也将阻止搜索引擎访问。

5

该网站一直要求登录，且不允许用户自行注册。然而，它仍出现在搜索引擎中——只是由于无法登录，没有任何内容被索引。我希望通过 robots.txt 明确阻止后，任何提及都将停止。谢谢。