إذا لم قمت بتخصيص ملف robots.txt، فلن تحتاج إلى فعل أي شيء… فـ disallow تقوم بالفعل بمعظم العمل.
افتراضيًا، يستخدم Discourse كلًا من disallow و noindex في ملف robots.txt.
في منشور المدونة حول هذا التحديث، تقترح جوجل استخدام disallow، وهو ما نفعله بالفعل. نستخدم noindex بالإضافة إلى ذلك للمساعدة في تجنب مشكلة الربط التي ذكرتها جوجل (لقد أضفت تمييزًا للنقطة ذات الصلة)…
حظر في ملف robots.txt: لا يمكن لمحركات البحث فهرسة الصفحات إلا إذا كانت تعرفها، لذا فإن منع الزحف إلى الصفحة عادةً ما يعني أن محتواها لن يُفهرس. في حين أن محرك البحث قد يفهرس عنوان URL بناءً على روابط من صفحات أخرى دون رؤية المحتوى نفسه، فإننا نهدف إلى جعل هذه الصفحات أقل ظهورًا في المستقبل.
من جانبنا، سنعمل على تحديث لإضافة وسم noindex أو استخدام رأس X-Robots-Tag في استجاباتنا عبر HTTP لضمان عدم فهرسة جوجل للرابط عندما يظهر على صفحات أخرى (سنقوم بتحديث هذا الموضوع بأي تغييرات).
إذا أضفت قواعد noindex مخصصة إلى ملف robots.txt عبر صفحة المسؤول /admin/customize/robots، فيجب عليك تغييرها إلى disallow