Abbiamo impostato DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXT su false, ma l’intestazione X-Robots-Tag non viene inviata nella risposta.
Avete qualche idea su cosa potrebbe stare succedendo? Non sono sicuro se possa essere correlato a questa modifica.
Ho scavato nel nostro sito di staging a cui @agmontpetit si riferiva; sembra che sia causato in qualche modo dal nostro plugin personalizzato - procederò con le indagini.
Risulta che questo accade per qualsiasi richiesta GET HTML per un ospite a un’azione che, per qualche motivo, non salta il filtro check_xhr. Non sono riuscito a trovare azioni simili nel Discourse standard, quindi probabilmente solo alcuni sviluppatori di plugin sono affetti da questo problema. Nel nostro caso, il problema è iniziato dopo aver aggiunto una pagina personalizzata con contenuti forniti via xhr per gli ospiti, ed è cessato quando abbiamo aggiunto il preloading (che richiede di saltare check_xhr).
Questo problema insidioso può essere risolto molto semplicemente eseguendo add_noindex_header prima di check_xhr.