Google、robots.txtからの「noindex」記述削除を通知

こんにちは、

Google からこのメールが届きました。

robots.txt の「noindex」記述を削除してください

これはコミュニティで既知の問題でしょうか?何か対応が必要でしょうか?

よろしくお願いいたします。

Googleがちょうどこれを送ったようです。私もメールを受け取りました。

私も同じです。意見などを注視するために投稿しています。

同じメールですが、自分で対応する必要がありますか?どのように対応すればよいですか?

ご心配なく。これはコアに実装されているため、Discourse チームが更新し、数日以内に修正されます。私たちが行うべきことは、Discourse をアップグレードすることだけです。

ただし、最も急いでいる方のために、robots.txt を編集できるようになりました:

Google Search Consoleから、Discourseサイトに関するメッセージが届いています:

https://discourse.hookproductivity.com/ の robots.txt から ‘noindex’ 記述を削除してください

https://discourse.hookproductivity.com/ の所有者様へ、

Googleは、貴サイトの robots.txt ファイルに非公式なルール ‘noindex’ が含まれていることを検出しました。

このルールはGoogleによって正式にサポートされたことはなく、2019年9月1日をもって機能しなくなります。Googleインデックスからページを除外する方法については、ヘルプセンターをご覧ください。

robots.txtファイルをカスタマイズしていない場合は、何もしなくて構いませんdisallowですでに大部分の処理が完了しています。

デフォルトでは、Discourseはrobots.txtdisallownoindexの両方を使用しています。

この更新に関するブログ記事において、Googleはdisallowの使用を推奨しており、これは私たちが既に行っています。Googleが言及しているこのリンク問題を防ぐために、追加でnoindexも使用しています(関連部分に太字を付け加えました)…

robots.txtのDisallow: 検索エンジンは既知のページのみをインデックスに追加できるため、ページへのクロールをブロックすれば、そのコンテンツがインデックスに追加されなくなるのが一般的です。検索エンジンが他のページからのリンクに基づいてURLをインデックスに追加する可能性はありますが、コンテンツ自体を確認できない場合、今後そのようなページがあまり目立たないようにすることを目標としています。

当方では、他のページに表示されたリンクがGoogleによってインデックスされないよう、HTTPレスポンスでnoindexメタタグを追加するか、X-Robots-Tagヘッダーを使用する更新を検討しています(変更があればこのトピックを更新します)。

/admin/customize/robots管理ページを通じてrobots.txtにカスタムnoindexルールを追加している場合は、それらをdisallowに変更してください

robots.txt における noindex の存在は、約 1 年前に 残念ながら導入に同意させられた 誤った「SEO」変更でした。この変更は現在元に戻され、安定版にもバックポートされました。