DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXTをfalseに設定していますが、レスポンスにX-Robots-Tagヘッダーが含まれていません。
何が原因か見当がつくでしょうか？もしかすると、この変更に関連しているかもしれません。
「いいね！」 1
@agmontpetit が言及していたステージングサイトについて調査しました。どうやらカスタムプラグインが原因のようです。詳しく調べます。
「いいね！」 1
実は、check_xhr フィルタを何らかの理由でスキップしないアクションに対するゲスト向けの GET HTML リクエストであれば、すべてこの問題が発生します。標準の Discourse にはそのようなアクションは見つかりませんでしたので、おそらくこの問題に悩まされているのは一部のプラグイン開発者だけでしょう。私たちの場合、ゲスト向けに xhr でコンテンツを提供するカスタムページを追加した後にこの問題が発生し始め、そのページにプリローディングを追加（これには check_xhr のスキップが必要）したところで解消しました。
この厄介な問題は、check_xhr の前に add_noindex_header を実行することで非常に簡単に修正できます。
「いいね！」 1