検索エンジンが非正規ページをインデックス登録できなくなりました

お知らせ
30

この変更に続く問題を分析し続け、以下に従ってロールバックを決定しました。

その背後にある目標は、Google が正規化されていないトピックリンクをスキャンすることによって費やされるクロールバジェットを制限することでした。

この変更が適用されて以来、変更を不要にする 2 つの修正を展開しました。

  1. トピック RSS フィードはフォローされなくなり、RSS フィード内のリンクはフォローされなくなりました。例: https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss
  2. ポスト RSS フィードには正規リンクが含まれるようになりました。例: https://meta.discourse.org/posts.rss

これら 2 つの変更を組み合わせることで、クローラーは Discourse サイト上の大量の正規化されていないリンクを発見しなくなります。
これにより検索予算が解放され、サイト設定はもはや要件ではなくなります。サイトオペレーターは引き続き自由に実験できますが、デフォルトでは無効になっています。

「いいね！」 13