robots.txt のユーザープロファイル/ユーザーディレクトリ / x-robots-tag ヘッダー

貢献 バグ
1

編集：これはバグであることが判明しました。投稿 #3 を参照してください。

「ユーザープロフィールを非公開にする」にチェックが入っている場合、robots.txt で /u は禁止されるべきではないでしょうか？
そうしないと、検索エンジンが 403 エラーに遭遇し、ランキングや可視性に影響を与える可能性があります。

これは 2014 年に実装されたはずです Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

Disallow: /u を設定している Discourse フォーラムは Meta しか見つかりませんでした :thinking:

「いいね！」 1
2

おそらくMetaはカスタマイズされているため、FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub の移行がスキップされたのかもしれません。

3

良い発見ですね @Moin

現在、すでに /u ルートには noindex を追加しています。ただし、robots.txt によってこれがブロックされているため、検索エンジンがヘッダーを確認できません。

つまり、以前の修正 FIX: Always noindex /u routes - Pull Request #27712 - discourse/discourse - GitHub に関連しているということですね。

そこには

第二に、SiteSetting.hide_user_profiles_from_public が Forbidden を発生させるため、after_action: add no index header がトリガーされません。

この PR は、noindex ヘッダーが before_action を介して追加されるようにします。/u を

discourse/app/controllers/robots_txt_controller.rb

2900cbe の 24 行目

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

から削除することを検討してもよいかもしれません。

残念ながら、それが常に機能するわけではありません。/u/rgj には x-robots-tag: noindex ヘッダーがありますが、/u/rgj/summary にはないため、最新の修正が予期しない副作用を引き起こしているようです。

(Contribute > Bug に移動)

「いいね！」 1