ملفات تعريف المستخدم / دليل المستخدم في robots.txt / ترويسة x-robots-tag

ساهم خلل
1

تحرير: اتضح أن هذا خطأ، انظر المنشور رقم 3

إذا تم تحديد خيار “إخفاء ملفات تعريف المستخدمين من الجمهور”، ألا ينبغي منع /u في ملف robots.txt؟
وإلا فقد تصطدم محركات البحث برمز 403 مما قد يؤثر على الترتيب والرؤية.

يُفترض أن هذا طُبّق في عام 2014 Excluding user profiles in robots.txt (or allow edit of file) - #2 by neil Disallow /users/ in robots.txt · discourse/discourse@8267a45 · GitHub

منتدى Discourse الوحيد الذي تمكنت من العثور عليه ويحتوي على Disallow: /u هو Meta :thinking:

إعجاب واحد (1)
2

ربما تم تخصيص Meta لذلك تم تخطي الترحيل في FIX: Remove /u/ from robots by nattsw · Pull Request #30782 · discourse/discourse · GitHub

3

اكتشاف جيد @Moin

في الوقت الحالي، نضيف بالفعل noindex إلى مسارات /u. ومع ذلك، بسبب حظر ملف robots.txt لهذا، لا تستطيع محركات البحث رؤية الرأس.

إذن، نرجع إلى تغيير سابق FIX: Always noindex /u routes - Pull Request #27712 - discourse/discourse - GitHub

والذي يقول

ثانياً، SiteSetting.hide_user_profiles_from_public يرفع استثناء Forbidden، مما يمنع تشغيل after_action: add no index header.

يضمن هذا الـ PR إضافة رأس no index عبر before_action بدلاً من ذلك. قد نفكر بإزالة /u من

discourse/app/controllers/robots_txt_controller.rb

السطر 24 في 2900cbe

DISALLOWED_WITH_HEADER_PATHS = %w[/badges /u/ /my /search /tag//l /g /t//.rss /c/.rss]

للأسف، لا يعمل ذلك دائماً. بينما يحتوي /u/rgj على رأس x-robots-tag: noindex، فإن /u/rgj/summary لا يحتوي عليه، لذا يبدو أن التغيير الأخير له بعض الآثار الجانبية غير المرغوب فيها.

(نقل إلى Contribute > Bug)

إعجاب واحد (1)