# 爬虫限流的处理

**URL:** <https://meta.discourse.org/t/handling-of-crawler-throttling/278769>\
**Category:** Product Support\
**Tags:** seo\
**Created:** [2023 年9 月 12 日 18:12 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769 "2023-09-12T18:12:14Z")\
**Posts on this page:** 1\
**Showing post:** 3

<div class="post-metadata">

作者： ![vchuravy](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/vchuravy/32/120525_2.png) [@vchuravy](https://meta.discourse.org/u/vchuravy)\
发布日期： [2023 年9 月 12 日 18:21 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769/3 "2023-09-12T18:21:31Z")

</div>

谢谢！这让人放心，但并不能完全解释为什么 Google Search Console 会报告与实施限流同时发生的 5xx 错误。

 ![image](https://global.discourse-cdn.com/meta/original/4X/6/1/b/61b84f762cb7cdd5f38547d94a86c2ce5e0fb20e.jpeg)

 ![image](https://global.discourse-cdn.com/meta/original/4X/b/e/d/beddd86665690090cdd4f4aca560750be8344145.png)

它甚至报告说它无法获取 discourse sitemap.xml。

---

_[View the full topic](https://meta.discourse.org/t/handling-of-crawler-throttling/278769)._