搜索引擎被禁止索引非规范页面非规范

公告
30

在继续分析此更改带来的问题后，我们决定根据以下内容进行回滚：

这样做的目的是通过 Google 扫描非规范主题链接来限制抓取预算。

自应用此更改以来，我们已推出 2 项修复，使该更改变得不必要。

  1. 主题 RSS Feed 不再被跟踪，RSS Feed 中的链接也不会被跟踪。例如：https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss

  2. 博文 RSS Feed 现在包含规范链接。例如：https://meta.discourse.org/posts.rss

这两项更改结合起来意味着爬虫不再会发现 Discourse 网站上的大量非规范链接。

这释放了搜索预算，并且不再需要此站点设置。站点管理员仍然可以自由尝试它，但默认情况下它是禁用的。

13 个赞