# Manejo del crawler throttling

**URL:** https://meta.discourse.org/t/handling-of-crawler-throttling/278769
**Category:** Support
**Tags:** seo
**Created:** [12 Septiembre, 2023 18:12 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769 "2023-09-12T18:12:14Z")
**Posts on this page:** 4
**Page:** 1

<div class="post-metadata">

### Author: ![vchuravy](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/vchuravy/32/120525_2.png) [@vchuravy](https://meta.discourse.org/u/vchuravy)
#### Post date: [12 Septiembre, 2023 18:12 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769/1 "2023-09-12T18:12:14Z")

</div>

Tenía una pregunta general sobre cómo se implementa el estrangulamiento del rastreador.

Según [Reduce Google Crawl Rate | Google Search Central &nbsp;|&nbsp; Documentation &nbsp;|&nbsp; Google for Developers](https://support.google.com/webmasters/answer/48620?hl=en), el estado HTTP recomendado es 429 (Demasiadas solicitudes) o 503 (Sitio no disponible).

Pero al leer el código fuente, parece que el estrangulamiento se implementa lanzando un error: [discourse/lib/rate\_limiter.rb at 85fddf58bc1e751d0ac5b8192a630c59a34aed7d · discourse/discourse · GitHub](https://github.com/discourse/discourse/blob/85fddf58bc1e751d0ac5b8192a630c59a34aed7d/lib/rate_limiter.rb#L129)

Mis días de Ruby on Rails quedaron muy atrás, pero supongo que esto genera un 505 genérico.

El rastreador de Google no comprende del todo el estrangulamiento de Discourse y en Google Search Console puedo ver que nuestra indexación y, por lo tanto, las impresiones se redujeron drásticamente después de implementar el estrangulamiento, pero no debido al estrangulamiento, sino a errores del servidor 5xx.

Entiendo que las instancias de estrangulamiento pueden ser necesarias a veces si causan demasiado tráfico, pero esperaba que Discourse informara un HTTP 429, en lugar de servir al rastreador un Error Interno 505.

---

<div class="post-metadata">

### Author: ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)
#### Post date: [12 Septiembre, 2023 18:15 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769/2 "2023-09-12T18:15:54Z")

</div>

> [@vchuravy](#):
>
> Mis días de Ruby on Rails quedaron muy atrás, pero supongo que esto genera un 505 genérico.

Creo que lo que buscas es

> <https://github.com/discourse/discourse/blob/85fddf58bc1e751d0ac5b8192a630c59a34aed7d/app/controllers/application_controller.rb#L181-L200>

Que es el rescate “global” del controlador para ese error que establece el código de estado.

---

<div class="post-metadata">

### Author: ![vchuravy](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/vchuravy/32/120525_2.png) [@vchuravy](https://meta.discourse.org/u/vchuravy)
#### Post date: [12 Septiembre, 2023 18:21 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769/3 "2023-09-12T18:21:31Z")

</div>

¡Gracias! Eso es tranquilizador, pero no explica del todo por qué Google Search Console informa de errores 5xx que se correlacionan con el momento en que se implementó el throttling.

 ![image](https://global.discourse-cdn.com/meta/original/4X/6/1/b/61b84f762cb7cdd5f38547d94a86c2ce5e0fb20e.jpeg)

 ![image](https://global.discourse-cdn.com/meta/original/4X/b/e/d/beddd86665690090cdd4f4aca560750be8344145.png)

Incluso informa que no pudo obtener el sitemap.xml de Discourse.

---

<div class="post-metadata">

### Author: ![vchuravy](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/vchuravy/32/120525_2.png) [@vchuravy](https://meta.discourse.org/u/vchuravy)
#### Post date: [12 Septiembre, 2023 18:34 UTC](https://meta.discourse.org/t/handling-of-crawler-throttling/278769/4 "2023-09-12T18:34:34Z")

</div>

En particular, limitar `sitemap.xml` parece problemático.

 ![image](https://global.discourse-cdn.com/meta/original/4X/c/e/9/ce95248a44ced4beba2f7f273516837bbbb25096.png)

Supongo que eso es lo que causó la brecha en la cobertura. Podría creer que Google informa erróneamente 429 como 5xx.