由于现在从 WordPress 发布的所有帖子都带有 x-robots-tag “noindex” 标头，因此移除 sitemap.xml 中的网址也很重要。
当一个网址被标记为 noindex 标签时，Google 会降低其抓取频率，以节省抓取预算。sitemaps.xml 中包含的网址据称很重要，因此会被优先抓取。所以传递给爬虫的信息是令人困惑的。
互联网太大了，Google 始终在尝试优先处理，以节省资源。一些 SEO 甚至认为这会导致 PR 稀释。
相关话题
| 话题 | 回复 | 浏览量 | 活动 | |
|---|---|---|---|---|
| Delete indexes | 0 | 70 | 2024 年6 月 21 日 | |
| Search engines now blocked from indexing non-canonical pages | 23 | 4179 | 2022 年3 月 15 日 | |
| How to noindex all pages to keep them out of Google indexes | 8 | 2738 | 2024 年2 月 22 日 | |
| How to fix error No: 'noindex' detected in 'X-Robots-Tag' | 4 | 1974 | 2022 年3 月 16 日 | |
| User badge urls are being indexed | 0 | 358 | 2022 年10 月 1 日 |