# 搜索引擎被禁止索引非规范页面非规范

**URL:** <https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985>\
**Category:** Announcements\
**Tags:** seo\
**Created:** [2022年二月21日 19:35 UTC](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985 "2022-02-21T19:35:37Z")\
**Posts on this page:** 1\
**Showing post:** 4

<div class="post-metadata">

**Author:** ![rrit](https://avatars.discourse-cdn.com/v4/letter/r/b5ac83/32.png) [@rrit](https://meta.discourse.org/u/rrit)\
**Post date:** [2022年二月21日 23:29 UTC](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985/4 "2022-02-21T23:29:37Z")

</div>

TL;DR：不要屏蔽非规范页面 - 只需通过 `\u003clink rel=\"canonical\" … \u003e` 指向正确的网址 - 这就是它的用途。

* * *

此功能可能会损害长期的 SEO 链接建设：  
现在，所有指向主题内答案的深度链接都在 `noindex` 页面上！谷歌喜欢这样吗？

实际上，一个始终指向主题网址的 `canonical` 标签 - 即使是深度链接到答案的页面 - 也应该能完美地完成工作 - 而无需添加 `X-Robots-Tag: noindex`：  
在首次抓取深度链接答案页面时，谷歌会识别出页面网址（主题内的答案）不符合规范网址，然后决定只抓取规范网址（主题）。

* * *

~~我们可以为所有执行此主题-答案深度链接的链接添加 `\u003ca rel=\"nofollow\" …\u003e` 吗？~~ 编辑：不，请参阅 [Search engines now blocked from indexing non-canonical pages - #9 by j127](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985/9)  
这样，我们或许可以为搜索引擎节省更多宝贵的、有限的抓取预算：  
搜索引擎首先不会提取链接，也不会调用该网址。调用该网址会返回一个带有 `X-Robots-Tag: noindex` http 标头的响应，导致该网址被添加到搜索引擎内部的“noindex”列表中，从而“丢弃”该响应。

通过为 RSS feed 网址添加 nofollow，可以进一步节省抓取预算：

> <https://github.com/discourse/discourse/pull/16013>
>
> The urls of RSS-feeds of topics and categories are already excluded by \`robots.t…xt\`.
> 
> But without \`rel="alternate nofollow"\` the search engine still extracts the url itself of a RSS-feed from the \`\<link rel="alterante" …\>\` tag inside the header of a topic or category page. Afterwards the search engine evaluates that this grabbed RSS-feed url is excluded by robots.txt and adds it to a 'noindex'-list.
> 
> With this change the RSS-feed url stays completely unknown to the search engine: it is neither extracted in the first place nor added to the 'noindex'-list afterwards. Thereby the number of topic-urls the search-engine has to handle gets halfed.

---

_[View the full topic](https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985)._