なぜなら、それらのボットは「リソースを食い尽くすボットの豚」であり、サイトが消費するリソースの量に比べて、提供される価値が非常に低いからです。
もちろん、Discourse の robots.txt ファイルをカスタマイズして、必要に応じて許可することもできます。しかし、Discourse がリリースされるずっと前から当サイトではこれらのボットをブロックしており、現在もブロックし続けています。
注記（編集済み）:
付け加えるのを忘れていましたが、これらの「リソースを食い尽くすボットの豚」の多くは robots.txt を尊重せず、HTTP User Agent レベルでブロックする必要があります。一般的に、これらの「無礼なリソースを食い尽くすボットの豚」は、リバースプロキシレベルで mod_rewrite を使用してブロックしています（リバースプロキシの背後で運用することの多くの利点の一つですが）。