Temos DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXT definido como false, mas o cabeçalho X-Robots-Tag não está sendo enviado na resposta.
Alguma ideia do que pode estar acontecendo? Não tenho certeza se pode estar relacionado a essa mudança.
Encontrei o problema no nosso site de Staging ao qual @agmontpetit se referiu. Parece que foi causado de alguma forma pelo nosso plugin personalizado — vou investigar.
Acontece que isso ocorre para qualquer solicitação GET HTML de convidado a uma ação que não pule o filtro check_xhr por algum motivo. Não consegui encontrar ações assim no Discourse padrão, embora, então provavelmente apenas alguns desenvolvedores de plugins sofrem com esse problema. Para nós, isso começou a acontecer depois que adicionamos uma página personalizada com conteúdo fornecido via xhr para Convidados, e parou quando adicionamos o pré-carregamento a ela (o que requer pular o check_xhr).
Esse problema complicado pode ser corrigido de forma muito simples executando add_noindex_header antes do check_xhr.