我见过：
但这次讨论的最终结果并不明确。robots.txt 中的 noindex 指令已不再有效——Google 现在会忽略它。若要完全阻止私有站点出现在搜索结果中，仅使用 Disallow 是不够的。需要在每个受影响的页面上添加 noindex 元标签。在我们的案例中，这包括登录页面以及任何可从外部访问的错误页面（或者，为每个页面添加 noindex 元标签也是完全可以的）。
如何实现这一点？谢谢。
那次讨论的“结果”或结论似乎非常明确：
- 新增了一个功能，用于为不应被爬取的页面添加 noindex；
- 但由于 Google 不支持该功能，并随后将 robots.txt 报告为无效，因此该新功能不得不被移除或回滚。
是的，Google 已停止在 robots.txt 中支持 noindex。但他们现在的建议是，在希望完全从其索引中移除的所有页面上添加 noindex 元标签。这正是我试图实现的目标。
难道你不能创建一个主题组件，为所有页面添加 noindex 元标签吗？
只需在 /admin/customize/themes/common/head_tag 中添加
<meta name="noindex">
对吗？
抱歉，我本应更明确地说明，主题帖的第一部分应当被删除。
您最好参考 Google 公告，因为其中包含了 pfaffman 在上面建议的页面 HTML 选项链接：
使用 ‘noindex’ 阻止搜索引擎索引
我很少做主题相关的工作，所以这正是我需要的信息。谢谢！而且它已经正确显示在 head 中（已添加到 “head_tag”）。顺便提一下，如果你希望所有搜索引擎机器人都不索引页面，Google 推荐的标签是：
<meta name="robots" content="noindex">
我已经禁用了 robots.txt（实际上是完全注释掉了），原因如本线程前面所述。再次感谢。
很高兴能帮上忙！我在主题方面还不太擅长，对 SEO 也一无所知，所以当时并不确定 meta 标签具体应该写成什么样。很高兴我的建议能帮你顺利解决问题。