Bom saber. Parece um grande passo na direção certa.
Para constar, na verdade vimos algumas instâncias em nosso fórum atual (quando ainda era público) onde adicionamos o arquivo robots.txt a certas subpastas do nosso fórum, e o Google estava rastreando-as de qualquer maneira. Acredito que isso seja altamente irregular… mas descobrimos que há alguns casos em que o Google não segue essa diretiva. A única maneira de ter 100% de certeza de que uma página não será indexada é se a página estiver oculta atrás de uma tela de login ou se a página não existir.
Do ponto de vista de um observador externo, parece simples dizer ao Discourse para não passar pelo trabalho extra de criar esses URLs adicionais para cada resposta. O software estaria fazendo menos trabalho e criando menos complexidade dessa forma, não estaria?
Seria bom ter um recurso nas configurações de administrador para simplesmente desativar esses URLs extras completamente.