لقد قمنا بتعيين DISCOURSE_ALLOW_INDEX_IN_ROBOTS_TXT على false، لكن رأس X-Robots-Tag لا يتم إرساله في الاستجابة.
هل لديك أي أفكار حول ما الذي قد يحدث؟ لست متأكدًا مما إذا كان ذلك قد يكون مرتبطًا بهذا التغيير.
لقد بحثت في الأمر بالنسبة لموقع Staging الذي أشار إليه @agmontpetit، ويبدو أنه ناتج عن إضافة مخصصة لدينا بطريقة ما - سأقوم بالتحقيق.
اتضح أن هذه المشكلة تحدث لأي طلب GET HTML من زائر (Guest) إلى إجراء لا يتجاوز فلتر check_xhr لسبب ما. مع ذلك، لم أتمكن من العثور على مثل هذه الإجراءات في نظام Discourse القياسي، لذا ربما يعاني من هذه المشكلة مطورو الإضافات فقط. بالنسبة لنا، بدأت هذه المشكلة بعد أن أضفنا صفحة مخصصة تحتوي على محتوى يُقدَّم عبر XHR للزوار، وتوقفت عندما أضفنا خاصية التحميل المسبق لها (وهو ما يتطلب تجاوز check_xhr).
يمكن حل هذه المشكلة المعقدة ببساطة شديدة عن طريق تشغيل add_noindex_header قبل check_xhr.