# 爬虫限流的处理

**URL:** <https://meta.discourse.org/t/handling-of-crawler-throttling/278769>\
**Category:** Product Support\
**Tags:** seo\
**Created:** [2023 年9 月 12 日 18:12 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769 "2023-09-12T18:12:14Z")\
**Posts on this page:** 1\
**Showing post:** 4

<div class="post-metadata">

作者： ![vchuravy](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/vchuravy/32/120525_2.png) [@vchuravy](https://meta.discourse.org/u/vchuravy)\
发布日期： [2023 年9 月 12 日 18:34 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769/4 "2023-09-12T18:34:34Z")

</div>

特别是限制 sitemap.xml 似乎有问题。

 ![image](https://global.discourse-cdn.com/meta/original/4X/c/e/9/ce95248a44ced4beba2f7f273516837bbbb25096.png)

我假设那就是造成覆盖范围空白的原因。我相信 Google 会将 429 误报为 5xx。

---

_[View the full topic](https://meta.discourse.org/t/handling-of-crawler-throttling/278769)._