Porque esses robôs são “ladrões de recursos” que oferecem muito pouco valor aos sites em comparação com a quantidade de recursos que consomem.
Claro, você pode personalizar o arquivo robots.txt do Discourse e permiti-los, se desejar; mas bloqueamos esses robôs em nossos sites muito antes do lançamento do Discourse e continuamos mantendo-os bloqueados.
Nota (Editada):
Esqueci de mencionar que muitos desses “ladrões de recursos” não respeitam o robots.txt e devem ser bloqueados no nível do User Agent HTTP. Bloqueamos esses “ladrões de recursos desrespeitosos” com mod_rewrite no nível do proxy reverso, de modo geral (uma das muitas boas razões para operar atrás de um proxy reverso, aliás).