rrit
(Ayke)
4
TL;DR：不要屏蔽非规范页面 - 只需通过 \u003clink rel=\"canonical\" … \u003e 指向正确的网址 - 这就是它的用途。
此功能可能会损害长期的 SEO 链接建设：
现在，所有指向主题内答案的深度链接都在 noindex 页面上！谷歌喜欢这样吗？
实际上，一个始终指向主题网址的 canonical 标签 - 即使是深度链接到答案的页面 - 也应该能完美地完成工作 - 而无需添加 X-Robots-Tag: noindex：
在首次抓取深度链接答案页面时，谷歌会识别出页面网址（主题内的答案）不符合规范网址，然后决定只抓取规范网址（主题）。
我们可以为所有执行此主题-答案深度链接的链接添加 \u003ca rel=\"nofollow\" …\u003e 吗？ 编辑：不，请参阅 Search engines now blocked from indexing non-canonical pages - #9 by j127
这样，我们或许可以为搜索引擎节省更多宝贵的、有限的抓取预算：
搜索引擎首先不会提取链接，也不会调用该网址。调用该网址会返回一个带有 X-Robots-Tag: noindex http 标头的响应，导致该网址被添加到搜索引擎内部的“noindex”列表中，从而“丢弃”该响应。
通过为 RSS feed 网址添加 nofollow，可以进一步节省抓取预算：
5 个赞