مرحبًا @kirupa،
تنبيهًا: عندما تقوم جوجل بفهرسة موقعين في نفس النطاق، مثل المثال الخاص بك kirupa.com مع محتوى مشابه، فإن ما يحدث عادةً ليس “عقوبة” بالمعنى الحرفي، بل هو أكثر من “اختيار للصفحة الأساسية” (canonical selection)، حيث تختار خوارزمية جوجل إحدى الصفحات كصفحة أساسية (canonical) وتحتل هذه الصفحة ترتيبًا أعلى في نتائج البحث. (قد تقوم جوجل حتى بإسقاط الصفحة التي تقرر أنها ليست أساسية من الفهرس).
توضح جوجل بوضوح أن فكرة “عقوبة المحتوى المكرر” هي في الغالب أسطورة. الأمر يتعلق حقًا بـ “التعيين الأساسي” (canonicalization) و"الاختيار":
إذا كان موقعك يحتوي على صفحات متعددة ذات محتوى متطابق إلى حد كبير، فهناك عدة طرق يمكنك من خلالها الإشارة إلى عنوان URL المفضل لديك لجوجل. (يُعرف هذا بـ “التعيين الأساسي”.) مزيد من المعلومات حول التعيين الأساسي. (المرجع 1)
على سبيل المثال، إذا أبقيت موقعك القديم نشطًا إلى جانب موقعك الجديد، فيمكنك استخدام وسم link canonical لإخبار جوجل بأن موقعك الجديد هو الموقع الأساسي، وعندها سيعطي جوجل الأولوية لموقعك الجديد.
الحل الأفضل هو السماح لمحركات البحث بالزحف إلى هذه عناوين URL، ولكن الإشارة إليها كمحتوى مكرر باستخدام عنصر الرابط
rel="canonical"، أو أداة معالجة معلمات عنوان URL، أو إعادة التوجيه 301. في الحالات التي يؤدي فيها المحتوى المكرر إلى زحف جوجل لجزء كبير جدًا من موقعك، يمكنك أيضًا تعديل إعداد معدل الزحف في وحدة تحكم البحث. (المرجع 1)
مثال:
<link rel="canonical" href="https://forum.kirupa.com/t/js-tip-of-the-day-using-generators-to-animate/643058" />
@kirupa، سألت أيضًا:
هل يعتبر كل موضوع “صفحة” قابلة للفهرسة من قبل جوجل؟ والسبب في سؤالي هو أن جزءًا كبيرًا من المواضيع في منتدانا غير موجود في قاعدة بيانات جوجل.
لنقاش رائع (لكنه قديم بعض الشيء) حول جوجل والتمرير اللانهائي، أنصحك بمراجعة مدونة مركز ويبماستر الرسمي لجوجل، (المرجع 2):
https://webmasters.googleblog.com/2014/02/infinite-scroll-search-friendly.html
@kirupa، إحدى الطرق للتحقق (عمليًا وليس نظريًا) هي استخدام وحدة تحكم البحث (GSC) والنظر في “لقطة الشاشة” التي تظهر كيف تمثل جوجل صفحتك. يمكن القيام بذلك بسهولة باستخدام وظيفة “التحقق من توافق الجوال” في وحدة تحكم البحث؛ وإذا كان لديك منشور طويل جدًا في Discourse، فيمكنك التحقق لمعرفة مقدار الصفحة الذي تقوم جوجل بفهرسته (قراءته وفهرسته). هناك العديد من الآراء حول التمرير اللانهائي وكيف تقوم جوجل بفهرسة هذه الصفحات. يمكنك استخدام وحدة تحكم البحث للتحقق من صفحاتك ورؤية ذلك بنفسك.
وفقًا لما ذكره مارتن سبليت من جوجل (انظر المرجع 3) في 14 أبريل 2020:
قدم سبليت مثالًا على موقع إخباري يعتمد على التمرير اللانهائي (المعروف أيضًا بـ “التحميل الكسول”) لتحميل محتوى جديد.
هذا يعني أن صفحة الويب، في هذه الحالة الصفحة الرئيسية، لا تقوم بتحميل محتوى إضافي إلا عندما يقوم الزائر بالتمرير إلى أسفل الشاشة.
يشرح سبليت سبب كون ذلك مشكلة: “ما الذي لا يفعله Googlebot؟ إنه لا يتمرر.”
ما يفعله Googlebot هو الوصول إلى صفحة ما والزحف إلى ما هو ظاهر فورًا.
وفقًا لما ذكره سبليت، لا يستطيع Googlebot الزحف إلى المحتوى الذي يتم تحميله فقط بعد التمرير في الصفحة.
كما ذُكر، @kirupa، يمكنك التحقق من صفحاتك بنفسك باستخدام الأدوات في وحدة تحكم البحث التي ستظهر لك لقطةSnapshot لكيفية عرض جوجل (وفهرسة) صفحاتك.
وفقًا لما قاله سبليت من جوجل في أبريل 2020: “Googlebot لا يتمرر.” (بمعنى آخر)
بخصوص سؤال موضوع “فهرسة بحث جوجل وDiscourse”، يمكن لكل مالك موقع بسهولة استخدام وحدة تحكم البحث لتحديد كيفية قيام Googlebot بفهرسة صفحة معينة.
توصيتي، وأتمنى أن تساعدك هذه المعلومة ولو بشكل بسيط، هي استخدام وحدة تحكم البحث (Google Search Console) للتحقق من صفحاتك بنفسك إذا كان لديك أي أسئلة حول كيفية فهرسة Googlebot لصفحاتك.
المراجع: