ملف robots.txt غير صالح يتسبب في مشاكل بالفهرسة

الدعم
1

مرحبًا بالجميع،

لقد أدركنا للتو أن منتدى Discourse الخاص بنا غير مفهرس بواسطة Google (نتذكر أنه كان مفهرسًا منذ حوالي عام)، ونحن نحاول إصلاح ذلك الآن. ما هي الإعدادات التي يجب التأكد من ضبطها بشكل صحيح؟

هذا ما فعلته حتى الآن:

  1. تأكدت من أن خيار “السماح بالفهرسة في ملف robots.txt” مُفعّل

  2. أضفت النطاقات التالية إلى قائمة “استبعاد نطاقات rel nofollow”:

    • grakn.ai (النطاق الرئيسي لموقعنا)
    • discuss.grakn.ai (نطاق منتدى Discourse الخاص بنا)

  3. تأكدت من أن خيار “إضافة rel nofollow إلى محتوى المستخدم” غير مُفعّل

  4. أضفت Googlebot إلى قائمة “وكلاء مستخدمين للروبوتات المسموح بها”

هل فاتني أي إعدادات أخرى يجب ضبطها؟

يُظهر Google Search Console الخاص بنا أن discuss.grakn.ai لا يزال لا يمكن الزحف إليه لأنه محظور بواسطة robots.txt - انظر لقطة الشاشة أدناه.

شكرًا مقدّمًا على المساعدة!!!

28
28944×1015 55.4 KB

2

الإدارة → الإعدادات → تمكين ملف Robots.txt

image
image2048×816 261 KB

يُسمح بملف Forum Roboy الخاص بك: https://discuss.grakn.ai/robots.txt

سجّل الدخول إلى Google Webmaster Tools وتحقق من: https://www.google.com/webmasters/tools/robots-testing-tool

3

بشكل افتراضي من الصندوق، يعمل هذا بشكل مثالي، هل قمت بتعديل هذه الإعدادات عند التثبيت الأصلي؟

4

يحتوي ملف robots.txt على هذا النص في المنتصف، لذا قد يواجه مشاكل مع برامج الزحف:

User-agent: *
Disallow: /
Noindex: /

ومع ذلك، فإن جوجل تقوم بفهرسة الصفحات:

قد يكون ذلك لأن Googlebot ينظر إلى قواعدك الخاصة بجوجل، وتقوم أدوات مشرفي المواقع بتنبيهك بشأن الرمز البدلي.

(لست متأكدًا من الإعدادات التي تؤدي إلى هذا المخرجات في robots.txt.)

5

نعم.

  1. الوصول إلى: https://discuss.grakn.ai/admin/customize/robots

  2. احذف ما يلي:

    User-agent: *
    Disallow: /
    Noindex: /

  3. انتقل إلى أدوات مشرفي المواقع من Google: https://www.google.com/webmasters/tools/robots-testing-tool

اختر ملكية تم التحقق منها وأعد إرسال ملف robots.txt إلى Google.

أعتقد أن هذا يجب أن يعمل.

6

أخيرًا، أدى إزالة الكتلة التالية إلى حل المشكلة.

User-agent: *
Disallow: /
Noindex: /

شكرًا جزيلاً لك، @j127 و@tohaitrieu!!!

يظهر الآن في Google Search Console أن discuss.grakn.ai في قائمة الانتظار للفهرسة.

تحياتي!

7

أنا غير واضح تمامًا كيف وصلت إلى هذه الحالة. هل قمت بتغيير إعدادات الموقع الافتراضية المتعلقة بالزحف؟

8

أنا أيضًا غير واضح كيف انتهى بنا الأمر إلى الحالة المذكورة أعلاه، @codinghorror. لقد كنت مدير الموقع خلال العام الماضي ولم أقم بأي تغييرات تتعلق بالأشياء المذكورة أعلاه. أتذكر أنني لم أقم بترقية النظام لفترة طويلة، ثم قمت بذلك قبل فترة قصيرة من بدء ظهور المشكلة المذكورة، لكنني لا أعرف ما إذا كان ذلك مرتبطًا بها.