robots.txt のユーザープロファイル/ユーザーディレクトリ / x-robots-tag ヘッダー

バグ
1

編集：これはバグであることが判明しました。投稿 #3 を参照してください。

「ユーザープロフィールを非公開にする」にチェックが入っている場合、robots.txt で /u は禁止されるべきではないでしょうか？
そうしないと、検索エンジンが 403 エラーに遭遇し、ランキングや可視性に影響を与える可能性があります。

これは 2014 年に実装されたはずです Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

Disallow: /u を設定している Discourse フォーラムは Meta しか見つかりませんでした :thinking:

2

おそらくMetaはカスタマイズされているため、FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub の移行がスキップされたのかもしれません。

3

素晴らしい発見です、@Moin

現在、/u ルートにはすでに noindex を追加していますが、robots.txt によってこれがブロックされているため、検索エンジンはこのヘッダーを確認できません。

その後、以前の変更 FIX: Always noindex /u routes by nattsw · Pull Request #27712 · discourse/discourse · GitHub を参照します。

そこには次のように書かれています。

第二に、SiteSetting.hide_user_profiles_from_public は Forbidden を発生させ、これにより、after_action: add no index header がトリガーされなくなります。

この PR は、代わりに before_action 経由で no index ヘッダーが追加されるようにします。/u を削除することを検討するかもしれません。

discourse/app/controllers/robots_txt_controller.rb

2900cbe の 24 行目

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

残念ながら、それは常には機能しません。/u/rgj には x-robots-tag: noindex ヘッダーがありますが、/u/rgj/summary にはないため、最新の変更には望ましくない副作用があるようです。

（Bug に移動）

「いいね！」 1