# Perché semrushbot e ahrefsbot sono bloccati di default?

**URL:** <https://meta.discourse.org/t/why-semrushbot-and-ahrefsbot-are-blocked-by-default/157682>\
**Category:** Product Support\
**Created:** [14 Luglio 2020, 8:57am UTC](https://meta.discourse.org/t/why-semrushbot-and-ahrefsbot-are-blocked-by-default/157682 "2020-07-14T08:57:31Z")\
**Posts on this page:** 1\
**Showing post:** 2

<div class="post-metadata">

**Author:** ![neounix](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/neounix/32/215617_2.png) [@neounix](https://meta.discourse.org/u/neounix)\
**Post date:** [14 Luglio 2020, 9:03am UTC](https://meta.discourse.org/t/why-semrushbot-and-ahrefsbot-are-blocked-by-default/157682/2 "2020-07-14T09:03:09Z")

</div>

> [@Jamie\_Liu1](#):
>
> So che questi sono due strumenti SEO molto utilizzati: perché bloccare i loro bot?

Perché quei bot sono “parassiti che risucchiano risorse”, che offrono un valore molto basso ai siti web rispetto alla quantità di risorse che consumano.

Ovviamente, puoi personalizzare il file `robots.txt` di Discourse e consentirli se lo desideri; ma noi blocciamo questi bot sui nostri siti molto prima che Discourse fosse rilasciato e continuiamo a tenerli bloccati.

🙂

* * *

Nota (Modificata):

Ho dimenticato di menzionare che molti di questi “parassiti che risucchiano risorse” non rispettano `robots.txt` e devono essere bloccati a livello di HTTP User Agent. Blocciamo questi “parassiti irrispettosi che risucchiano risorse” utilizzando `mod_rewrite` a livello di reverse proxy, in generale (una delle tante buone ragioni per operare dietro un reverse proxy, a proposito).

---

_[View the full topic](https://meta.discourse.org/t/why-semrushbot-and-ahrefsbot-are-blocked-by-default/157682)._