لقد نقلت هذا إلى #support، شكرًا لك على تقرير الخطأ المكتوب بشكل رائع هنا.
لقد استغرق الأمر منا الكثير من الوقت لضبط قواعدنا بدقة لإرضاء جوجل، ودعم علامة x-robots-tag noindex بشكل غير متساوٍ ولكنه معيار صناعي. كانت المشكلة مع حظر الزحف ببساطة هي أنه لسبب ما، تحت ظروف معينة، يمكن أن تجد الصفحات نفسها في فهرس جوجل وبعد ذلك لم تكن هناك طريقة سهلة لإزالتها لأن الزحف كان محظورًا، وهي مشكلة تشبه الدجاجة والبيضة.