تحرير: اتضح أن هذا خطأ، انظر المنشور رقم 3
إذا تم تحديد خيار “إخفاء ملفات تعريف المستخدمين من الجمهور”، ألا ينبغي منع /u في ملف robots.txt؟
وإلا فقد تصطدم محركات البحث برمز 403 مما قد يؤثر على الترتيب والرؤية.
يُفترض أن هذا طُبّق في عام 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub
منتدى Discourse الوحيد الذي تمكنت من العثور عليه ويحتوي على Disallow: /u هو Meta 
ربما تم تخصيص Meta لذلك تم تخطي الترحيل في FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub
اكتشاف جيد يا @Moin
حاليًا، نضيف بالفعل
noindexإلى مسارات/u. ومع ذلك، نظرًا لأن robots.txt يحظر هذا، لا يمكن لمحركات البحث رؤية الرأس.
إذًا، نُحال إلى تغيير سابق FIX: Always noindex /u routes by nattsw · Pull Request #27712 · discourse/discourse · GitHub
والذي يقول
ثانيًا،
SiteSetting.hide_user_profiles_from_publicتثيرForbidden، مما يمنع تشغيلafter_action: add no index headerالخاص بنا.
هذا السحب (PR) يضمن إضافة رأس عدم الفهرسة عبر
before_actionبدلاً من ذلك. قد نفكر في إزالة /u منdiscourse/app/controllers/robots_txt_controller.rb
السطر 24 في 2900cbe
DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]
للأسف، هذا لا يعمل دائمًا. بينما يحتوي /u/rgj على رأس x-robots-tag: noindex، فإن /u/rgj/summary لا يحتوي عليه، لذلك يبدو أن أحدث تغيير له بعض الآثار الجانبية غير المرغوب فيها.
(نقل إلى Bug)