أنا أدير منتدى Discourse (forum.evteam.pl)، وأواجه صعوبة في جعل صفحاتي مفهرسة بواسطة جوجل. بينما تمت فهرسة عدد قليل من الصفحات، لا يزال معظمها غير مفهرس على الرغم من إرسال خريطة الموقع.
هذا هو الوضع الحالي:
8 صفحات فقط مفهرسة من أصل 180+.
زاد عدد الصفحات المفهرسة لفترة وجيزة ثم انخفض مرة أخرى.
تظهر وحدة تحكم بحث جوجل 172 صفحة على أنها غير مفهرسة.
خريطة الموقع لم تتم الموافقة عليها منذ فترة طويلة.
أداء البحث منخفض جدًا، مع نقرات قليلة جدًا من جوجل.
لقد تحققت من ما يلي: ملف Robots.txt – لا توجد قيود واضحة. ملف Sitemap.xml – تم إرساله، ولكنه لم تتم الموافقة عليه بعد. علامات Noindex – غير موجودة على الصفحات الرئيسية. وحدة تحكم بحث جوجل – لا توجد عقوبات يدوية أو مشكلات أمنية.
هل واجه أي شخص مشكلات مماثلة مع منتديات Discourse؟ هل يمكن أن يكون هذا بسبب سياسات الفهرسة الخاصة بجوجل، أم أن هناك شيئًا قد أكون أغفله؟ أي نصائح حول كيفية حل هذه المشكلة؟
قد تكون هذه فكرة سيئة - إلا إذا كنت متأكدًا تمامًا من أنه يمكن منع جميع الروبوتات الأخرى. تستخدم Google الكثير من الزواحف التي لا تعلن عن سلسلة googlebot.