Отсутствует тег X-Robots-Tag

Оказывается, это происходит для любого GET-запроса HTML для гостя к действию, которое по какой-то причине не пропускает фильтр check_xhr. Хотя я не нашел таких действий в стандартном Discourse, вероятно, эта проблема затрагивает только некоторых разработчиков плагинов. У нас это началось после того, как мы добавили пользовательскую страницу с контентом, предоставляемым через xhr для гостей, и прекратилось, когда мы добавили к ней предзагрузку (что требует пропуска check_xhr).

Эту хитрую проблему можно очень просто исправить, запустив add_noindex_header перед check_xhr.