Es bueno saberlo. Suena como un gran paso en la dirección correcta.
Por si sirve de algo, hemos visto algunas instancias en nuestro foro actual (cuando aún era público) en las que habíamos añadido el archivo robots.txt a ciertas subcarpetas de nuestro foro, y Google las estaba rastreando de todos modos. Creo que esto es muy irregular… pero descubrimos que hay algunos casos en los que Google no sigue esta directiva. La única forma de estar 100% seguro de que una página no se indexe es que la página esté oculta tras una pantalla de inicio de sesión o que la página no exista en absoluto.
Desde la perspectiva de un observador externo, parece que debería ser fácil decirle a Discourse que no haga el esfuerzo adicional de crear estas URL adicionales para cada respuesta. El software haría menos trabajo y crearía menos complejidad de esta manera, ¿no?
Sería bueno tener una función en la configuración de administración para simplemente desactivar estas URL adicionales por completo.