Мы установили DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXT в значение false, но заголовок X-Robots-Tag не отправляется в ответе.
Есть какие-либо идеи, что может происходить? Не уверен, может ли это быть связано с этим изменением.
Я нашёл это для нашего тестового сайта, о котором упоминал @agmontpetit. Похоже, проблема вызвана каким-то образом нашим кастомным плагином — буду разбираться.
Оказывается, это происходит для любого GET-запроса HTML для гостя к действию, которое по какой-то причине не пропускает фильтр check_xhr. Хотя я не нашел таких действий в стандартном Discourse, вероятно, эта проблема затрагивает только некоторых разработчиков плагинов. У нас это началось после того, как мы добавили пользовательскую страницу с контентом, предоставляемым через xhr для гостей, и прекратилось, когда мы добавили к ней предзагрузку (что требует пропуска check_xhr).
Эту хитрую проблему можно очень просто исправить, запустив add_noindex_header перед check_xhr.