Tenemos DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXT configurado en false, pero la cabecera X-Robots-Tag no se está enviando en la respuesta.
¿Alguna idea de qué podría estar pasando? No estoy seguro de si podría estar relacionado con este cambio.
He encontrado el problema en nuestro sitio de Staging al que se refería @agmontpetit. Parece que lo está causando nuestro plugin personalizado de alguna manera; lo investigaré.
Resulta que esto ocurre para cualquier solicitud GET HTML de un invitado a una acción que, por alguna razón, no omita el filtro check_xhr. Aunque no pude encontrar tales acciones en Discourse estándar, probablemente solo algunos desarrolladores de plugins se vean afectados por este problema. En nuestro caso, comenzó a ocurrir después de que agregamos una página personalizada con contenido proporcionado por xhr para invitados, y cesó cuando le añadimos precarga (lo cual requiere omitir check_xhr).
Este problema complicado puede solucionarse de manera muy sencilla ejecutando add_noindex_header antes que check_xhr.