如果您尚未自定义 robots.txt 文件，则无需执行任何操作……disallow 已经承担了大部分工作。
默认情况下，Discourse 在 robots.txt 中同时使用 disallow 和 noindex。
在 关于此更新的官方博客文章 中，Google 建议使用 disallow，而我们早已采用此做法。我们额外使用 noindex 以帮助避免 Google 提到的链接问题（我已对相关部分加粗强调）……
robots.txt 中的 Disallow：搜索引擎只能索引它们已知的页面，因此阻止页面被爬取通常意味着其内容不会被索引。尽管搜索引擎也可能根据其他页面的链接对 URL 进行索引，但在未看到内容本身的情况下，我们的目标是使此类页面在未来更不易被看到。
在我们这边，我们将考虑进行更新，添加 noindex 元标签，或在 HTTP 响应中使用 X-Robots-Tag 头，以确保当链接出现在其他页面上时，Google 不会对其进行索引（如有任何变更，我们将在此主题中更新）。
如果您已通过 /admin/customize/robots 管理页面在 robots.txt 中添加了自定义的 noindex 规则，请将其更改为 disallow。