事实是，搜索引擎和机器人可以索引 Discourse 中的类别主题。如何阻止 Google、Bing、Yandex 等索引类别主题？
我们期待 Discourse 专家的支持。
1 个赞
您可以将类别权限更改为 TL0，这样只有登录用户才能看到它，同时也能阻止机器人。
6 个赞
如果那个 Don 建议的方法有效，就使用它。这是唯一 100% 确定的方法。但如果那个论坛必须对随机访客开放，你就不能使用 TL0。当然，你可以使用 User-agent: * Disallow: / 或类似的元标签，但有时它们会被遵守，有时则不会。如果有人使用 Gmail 分享链接，Google 就会索引，而不管你的 robots.txt 或元标签中有什么。
而且这些技巧只有在机器人遵守时才有效。大多数 SEO 爬虫都不遵守。然后还有数以万计的流氓机器人和脚本小子试图做些什么。
所以，你必须做什么取决于你想要什么样的隐私级别。
4 个赞