Porque esos bots son «vampiros de recursos» que aportan muy poco valor a los sitios en comparación con la cantidad de recursos que consumen.
Por supuesto, puedes personalizar el archivo robots.txt de Discourse y permitirlos si lo deseas; pero bloqueamos estos bots en nuestros sitios mucho antes de que Discourse se lanzara y seguimos manteniéndolos bloqueados.
Nota (Editada):
Olvidé mencionar que muchos de estos «vampiros de recursos» no respetan robots.txt y deben bloquearse a nivel del agente de usuario HTTP. En términos generales, bloqueamos a estos «vampiros de recursos irrespetuosos» mediante mod_rewrite a nivel del proxy inverso (una de las muchas buenas razones para operar detrás de un proxy inverso, por cierto).