Потому что эти боты — «пожиратели ресурсов», которые приносят сайтам очень мало пользы по сравнению с тем объемом ресурсов, который они потребляют.
Конечно, вы можете настроить файл robots.txt в Discourse и разрешить им доступ, если хотите; но мы блокируем этих ботов на наших сайтах еще до выпуска Discourse и продолжаем их блокировать.
Примечание (отредактировано):
Я забыл упомянуть, что многие из этих «пожирателей ресурсов» не уважают файл robots.txt, и их необходимо блокировать на уровне HTTP User Agent. Обычно мы блокируем этих «неуважительных пожирателей ресурсов» с помощью mod_rewrite на уровне обратного прокси-сервера (кстати, это одна из многих причин запускать сайт за обратным прокси-сервером).