# 全局禁用所有 RSS 源的方法

**URL:** <https://meta.discourse.org/t/way-to-globally-disable-all-rss-feeds/207043>\
**Category:** Feature\
**Created:** [2021 年10 月 25 日 21:22 UTC](https://meta.discourse.org/t/way-to-globally-disable-all-rss-feeds/207043 "2021-10-25T21:22:32Z")\
**Posts on this page:** 1\
**Showing post:** 5

<div class="post-metadata">

作者： ![j127](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/j127/32/79093_2.png) [@j127](https://meta.discourse.org/u/j127)\
发布日期： [2021 年10 月 26 日 07:06 UTC](https://meta.discourse.org/t/way-to-globally-disable-all-rss-feeds/207043/5 "2021-10-26T07:06:12Z")

</div>

Google 是否真的在抓取这些页面，还是这些 URL 仅仅出现在 Google Search Console 中，显示为“已索引但被 robots.txt 阻止”？

~~我没有在 RSS 源中看到 noindex 标头，但如果 URL 被 robots.txt 阻止且包含 robots 标头，爬虫可能永远无法看到该 robots 标头。~~

[我移除了 `curl -I` 的输出，因为它没有使用 GET 请求，因此缺少 robots 标头。]

**编辑：** 我刚刚使用 GET 请求检查了 RSS 源，因为我以为 `x-robots-noindex` 标头存在于 RSS 源中，它确实存在，但仅在使用 GET 请求时出现。

现在我想起我在主论坛上做过的事情。Google Search Console 曾警告 RSS URL 被索引但被阻止，因此我通过 robots.txt 取消了对这些源的阻止，因为这可以防止 Googlebot 抓取这些 URL 并看到 noindex 标头。我相信这将解决这些警告，但我不知道这是否能阻止 Googlebot 抓取这些 URL。

```plaintext
# Disallow: /t/*/*.rss
# Disallow: /c/*.rss

```

* * *

我有点担心告诉爬虫存在 RSS 源（通过 `link`，见下文），但当爬虫尝试抓取这些 URL 时却返回 404 错误。这可能会导致机器认为网站存在技术问题，从而降低其质量评分（无论搜索引擎如何确定质量或判断网站是否对用户不可用）。

```plaintext
$ curl -s https://meta.discourse.org/latest | grep -i rss    
    <link rel="alternate" type="application/rss+xml" title="Latest posts" href="https://meta.discourse.org/posts.rss" />
    <link rel="alternate" type="application/rss+xml" title="Latest topics" href="https://meta.discourse.org/latest.rss" />
   ...

```

---

_[View the full topic](https://meta.discourse.org/t/way-to-globally-disable-all-rss-feeds/207043)._