つまり、私はウェブサイトのサブドメインとしてDiscourseをフォーラムとして使用していますが、Bingが各投稿とカテゴリのRSSをサイトマップセクションのインデックス取り込みとして検出していることに気づきました。
これは予想される動作ですか？
この現象を防ぐために、フォーラムのRSSフィードを無効にするべきでしょうか？
Discourseでフィードを無効にする方法はあるでしょうか？
「いいね！」 6
いいえ。RSS フィードには noindex ヘッダーが含まれており、Bing はこれを尊重するはずです。以下をご覧ください。
および
これを行う方法はありません（サイト全体をログイン必須にする以外はありませんが、それですべてのインデックス作成が無効になります）。
実際の Bing 検索結果に RSS ページが表示されていますか？それとも、Webmaster ツール内でのみ表示されていますか？
「いいね！」 10
noindex がフィードに含まれているか確認する方法はありますか？質問の理由は、RSS のソースコード even で noindex タグが見つからないからです。例えば、このフォーラムスレッドを .rss で開いても、ソースコードには noindex が表示されていません。
これまで、noindex はウェブマスターツールのサイトマップセクションにあるフィードグループ内でフィードを確認するのみでした。
ありがとうございます。
「いいね！」 3
はい、可能です。これは Google Chrome を使用していることを前提としていますが、他のブラウザでも同様の手順で対応できます。
- 開発者ツールパネルを開きます F12
- 「Network（ネットワーク）」タブに切り替えます。
- RSS フィードを読み込みます。例えば、このトピックです：
https://meta.discourse.org/t/bing-is-picking-all-the-rss-feed-for-each-post-can-i-disable-the-feed-in-discourse/168025.rss - リストから RSS フィードのエントリを選択します。
- 「Headers（ヘッダー）」タブでレスポンスヘッダーを確認すると、
x-robots-tag: noindexが表示されているはずです。
「いいね！」 10
ありがとうございます、x-robots-tag: noindex が表示されているのを確認しました。それでも、noindex タグが付いているのに、なぜ Bing が RSS を取得するのか、まだ理解できません。
「いいね！」 5
Bing の「ワクワクする世界」へようこそ™
驚いたと口にしたかったのですが、残念ながらそうもいきません。本当に、本当に残念です。
「いいね！」 6
Google に追いつこうとしているのでしょうか？
「いいね！」 4
皮肉だとしないことにします。
いいえ、すでに追いついていますが、Discourse フォーラムを正しくインデックス化する点では、まだ追いつくべきことがたくさんあります。
「いいね！」 2
みなさんこんにちは！ご迷惑をおかけして申し訳ありません。このスレッドを Bing チームの他のメンバーにも共有します。Bing は noindex メタタグが付いた RSS をインデックス登録すべきではないため、これはおそらくバグかクロールに関する問題です。ご報告ありがとうございます！
数時間以内に修正される見込みです。その後、このスレッドに戻り、修正済みであることを確認する投稿を行います。もし何か問題が発生した場合は、OP とのプライベートメッセージで対応いたします。改めて、皆様のおかげです。
「いいね！」 5
フレデリックからこの場所と現在の状況について伺っています。彼が残念ながら他に注意を向ける必要がある件に対応している間、彼に代わって私がお話しします。
現時点では、この問題の概要を把握できているようです。フレデリックが述べたとおり、私は @mhwebee にダイレクトメッセージを送り、ここからは非公開で対応させていただきます。もしスレッドを閉じていただければ幸いです！
私と Bing 開発チーム一同より、
ジョルディ
「いいね！」 5