محركات البحث ممنوعة الآن من فهرسة الصفحات غير القياسية

إعلانات
23

مزيد من المعلومات حول noindex من مستندات Google:

انظر Crawl Budget Management For Large Sites | Google Search Central  |  Documentation  |  Google for Developers

انظر How to Specify a Canonical with rel="canonical" and Other Methods | Google Search Central  |  Documentation  |  Google for Developers

انظر How to Specify a Canonical with rel="canonical" and Other Methods | Google Search Central  |  Documentation  |  Google for Developers

3 إعجابات
26

يبدو أن هذا الأمر لا يعمل. لقد قمت بتحديث موقع Discourse أصغر اليوم لاختباره، وقمت بتشغيل الأمر، وما زلت أرى رؤوس noindex.

تعديل: لست متأكدًا من كيفية عمل هذا الإعداد، ولكني لا أراه في SiteSettings، على الأقل من الواجهة الأمامية (كمسؤول) في وحدة تحكم المتصفح:

var d = Discourse.SiteSettings;
document.body.innerHTML = `<pre>${JSON.stringify(d, null, 4)}</pre>`;

يبدو أن هذا الإعداد مخصص لـ robots.txt، وليس لـ noindex. ألن يكون هذا بالفعل true في معظم مواقع Discourse؟

إعجابَين (2)
27

أوه، آسف، الصحيح هو SiteSetting.allow_indexing_non_canonical_urls. لقد قمت بتصحيحه في المنشور الأصلي.

3 إعجابات
30

واصلنا تحليل المشكلات بعد هذا التغيير وقررنا التراجع عنه وفقًا لـ:

كان الهدف من ذلك هو الحد من ميزانية الزحف التي تنفقها Google على مسح الروابط غير القياسية للمواضيع.

منذ تطبيق هذا التغيير، قمنا بطرح إصلاحين جعلا التغيير غير ضروري.

  1. لم تعد خلاصات RSS للمواضيع تُتبع، ولا تُتبع الروابط في خلاصات RSS. مثال: https://meta.discourse.org/t/search-engines-now-blocked-from-indexing-non-canonical-pages/218985.rss

  2. تحتوي خلاصات RSS للمشاركات الآن على روابط قياسية. مثال: https://meta.discourse.org/posts.rss

هذان التغييران مجتمعان يعنيان أن الزواحف لم تعد تكتشف قدرًا كبيرًا من الروابط غير القياسية على مواقع Discourse.

هذا يحرر ميزانية البحث ويجعل إعداد الموقع غير مطلوب. لا يزال بإمكان مشغلي الموقع التجربة بحرية، ومع ذلك فهو معطل افتراضيًا.

13 إعجابًا