Perché quei bot sono “parassiti che risucchiano risorse”, che offrono un valore molto basso ai siti web rispetto alla quantità di risorse che consumano.
Ovviamente, puoi personalizzare il file robots.txt di Discourse e consentirli se lo desideri; ma noi blocciamo questi bot sui nostri siti molto prima che Discourse fosse rilasciato e continuiamo a tenerli bloccati.
Nota (Modificata):
Ho dimenticato di menzionare che molti di questi “parassiti che risucchiano risorse” non rispettano robots.txt e devono essere bloccati a livello di HTTP User Agent. Blocciamo questi “parassiti irrispettosi che risucchiano risorse” utilizzando mod_rewrite a livello di reverse proxy, in generale (una delle tante buone ragioni per operare dietro un reverse proxy, a proposito).