TL؛DR: لا تقم بحظر الصفحات غير القياسية - فقط قم بتوجيهها إلى عنوان URL صحيح عبر \u003clink rel=\"canonical\" … \u003e - هذا هو الغرض منها.
قد تضر هذه الميزة ببناء الروابط لتحسين محركات البحث على المدى الطويل:
جميع الروابط العميقة للإجابات داخل المواضيع موجودة الآن على صفحات noindex! هل يحب جوجل هذا؟
في الواقع، علامة canonical التي تشير دائمًا إلى عنوان URL للموضوع - حتى بالنسبة للصفحات التي تربط بعمق بإجابة - يجب أن تؤدي المهمة بشكل مثالي - دون إضافة X-Robots-Tag: noindex:
عند الزحف الأول لصفحة إجابة ذات رابط عميق، يدرك جوجل أن عنوان URL للصفحة (الإجابة داخل الموضوع) لا يتناسب مع عنوان URL القياسي ويقرر بعد ذلك الزحف إلى عنوان URL القياسي (الموضوع) فقط.
هل يمكننا إضافة تعديل: لا، انظر Search engines now blocked from indexing non-canonical pages - #9 by j127\u003ca rel=\"nofollow\" …\u003e إلى جميع الروابط التي تقوم بهذا الربط العميق بين الموضوع والإجابة؟
وبذلك، قد نوفر المزيد من ميزانية الزحف الثمينة والمحدودة لمحركات البحث:
لن يقوم محرك البحث باستخراج الرابط في المقام الأول ولن يقوم بإجراء استدعاء إلى عنوان URL. نظرًا لأن استدعاء عنوان URL يؤدي إلى استجابة مع ترويسة HTTP X-Robots-Tag: noindex مما يتسبب في “تجاهل” الاستجابة عن طريق إضافة عنوان URL إلى قائمة “noindex” الداخلية لمحركات البحث.
بعض المدخرات الإضافية في ميزانية الزحف مع إضافة nofollow إلى عناوين URL لـ RSS: