# ¿Por qué semrushbot y ahrefsbot están bloqueados de forma predeterminada?

**URL:** <https://meta.discourse.org/t/why-semrushbot-and-ahrefsbot-are-blocked-by-default/157682>\
**Category:** Product Support\
**Created:** [14 Julio, 2020 08:57 UTC](https://meta.discourse.org/t/why-semrushbot-and-ahrefsbot-are-blocked-by-default/157682 "2020-07-14T08:57:31Z")\
**Posts on this page:** 1\
**Showing post:** 12

<div class="post-metadata">

**Author:** ![neounix](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/neounix/32/215617_2.png) [@neounix](https://meta.discourse.org/u/neounix)\
**Post date:** [3 Diciembre, 2020 09:35 UTC](https://meta.discourse.org/t/why-semrushbot-and-ahrefsbot-are-blocked-by-default/157682/12 "2020-12-03T09:35:29Z")

</div>

> [@trying2survive](#):
>
> Solo para aclarar, ¿no hay forma de desbloquear a semrushbot y seo spider?

¿Probaste esto (pero usando el nombre de tu contenedor)?

Nota: también puedes configurar esto en la interfaz de administración (Admin UI):

```plaintext
# docker exec -it socket-only bash
root@socket-only:/# rails c
[1] pry(main)> SiteSetting.blocked_crawler_user_agents
=> "mauibot|semrushbot|ahrefsbot|blexbot|seo spider"
[2] pry(main)> SiteSetting.blocked_crawler_user_agents = ""
=> ""
[3] pry(main)> SiteSetting.blocked_crawler_user_agents
=> ""
[4] pry(main)> 

```

Ver también:

> <https://github.com/discourse/discourse/blob/d1d87b6fa3f8279bb35d264c997d37a185aa75d9/config/site_settings.yml>

Ver también:

```ruby
  def self.allow_crawler?(user_agent)
    return true if SiteSetting.allowed_crawler_user_agents.blank? &&
      SiteSetting.blocked_crawler_user_agents.blank?
...
...

```

> <https://github.com/discourse/discourse/blob/e0d9232259f6fb0f76bca471c4626178665ca24a/lib/crawler_detection.rb>

Puedes ver en el código que si estableces estas dos configuraciones del sitio en “vacío” (blank), no habrá bloqueo:

- SiteSetting.allowed\_crawler\_user\_agents
- SiteSetting.blocked\_crawler\_user\_agents

Recomiendo que **no cambies** esto, ya que estos bots que Discourse bloquea por defecto en su núcleo no respetan robots.txt; sin embargo, es tu sitio y puedes hacer lo que quieras. Hay una buena razón por la que están bloqueados en el núcleo.

Dicho esto, Discourse te ofrece la opción de “desbloquear” estos usando tus SiteSettings en la interfaz de usuario.

---

_[View the full topic](https://meta.discourse.org/t/why-semrushbot-and-ahrefsbot-are-blocked-by-default/157682)._