بعد زوال الهستيريا الأولية (التي قد تصيب الشخص الذي يكتشف أن جوجل لم تولِ اهتمامًا لموقعه الإلكتروني طوال الأشهر الستة الماضية ولم يكن يعرف بذلك حتى!!)،
سأحاول سرد الأسباب المتعلقة بكود Discourse فقط، أي تلك التي لا يمكنني أنا أو جوجل إصلاحها (على حد علمي)، ولكن يمكن لفريق Discourse إصلاحها.
في أغسطس 2024، لاحظت أن حركة المرور إلى موقعي قد انخفضت بنسبة تصل إلى 95%. لكنني تجاهلت الأمر معتقدًا أنني ربما لم أنشر ما يكفي.
ولكن اليوم اكتشفت أنه مهما كانت الكلمة المفتاحية التي أبحث بها على جوجل، مع حصر البحث في موقعي فقط: ***site:BathindaHelper.com jobs in bathinda*** ، كانت النتيجة صفرًا (النتيجة الوحيدة التي تظهر من موقعي هي في الواقع مجرد اقتراح بإنشاء إعلانات جوجل لعرض هذه النتيجة من موقعي، مما يشير إلى أن موقعي قد تمت فهرسته بالفعل):
متى قمت بإنشاء موقعك إما باستخدام تسجيل الدخول الإجباري أو توقفت عن عرض المواضيع TL0+؟ يمكن لجوجل استخدام موقع فقط إذا كان مرئيًا للعالم. أو قمت بحظر وكلاء المستخدم الخاص بجوجل.
هل هذا هو نفس المنتدى الذي واجهت فيه مشاكل في DNS؟
لقد استخدمت كلمة “force” بشكل خاطئ. (كنت أقصد أن أقول إنني كنت أجبر بحث Google على إنتاج نتائج بحث من موقعي الخاص BathindaHelper.com)
لم أنشئ موقعي باستخدام أي طريقة غير طبيعية / قسرية.
لم أعبث عمدًا بأي شيء يتعلق بـ TL0+ أو ما شابه.
خلال النصف ساعة الماضية، وجدت أن ملف robots.txt الخاص بي هو السبب (من بين بعض المشكلات الصغيرة الأخرى)، لكنني لم أتمكن من معرفة (حتى الآن) كيفية إصلاح ذلك.
لا أتذكر أنني واجهت مشكلات في DNS (هل تتحدث عن الماضي البعيد؟). موقعي يعمل بشكل جيد، باستثناء أنه عندما أقوم أنا / المسؤول بتحديث المتصفح يدويًا، فإنه يستغرق أحيانًا ما يقرب من 30 إلى 50 ثانية ليفتح، ولكن بعد ذلك يعمل بشكل جيد.
allowed crawler user agents (وكلاء الزحف المسموح بهم)
blocked crawler user agents (وكلاء الزحف المحظورون)
لكن على حد علمي، لا يحتوي Discourse على ملف robots.txt عادي كما هو الحال في معظم المواقع، بل يتم إنشاؤه بواسطة شيء غريب بلغة Ruby، ولا توجد الكثير من الإعدادات التي يمكن للمسؤول تعديلها. باستثناء هذين الإعدادين، وإبطاء الروبوتات.
لقد قمت بتعطيل هذا بعد فتح هذا الموضوع (قبل حوالي 30 دقيقة). بينما كانت هذه المشكلة موجودة منذ 3 أشهر. لكنني لم أتمكن من التحقق بشكل مستقل مما إذا كان هذا “إلغاء التحديد” قد أصلح خطأ “فهرسة Google” أم لا.
أنا في شك إذا لم أقم بتعطيل / حظر المواقع بواسطة Robots.txt، فهل جميع المواقع مسموح بها؟ أم العكس، إذا لم أقم بتمكين المواقع بواسطة Robots.txt، فهل جميع المواقع محظورة من الفهرسة؟
حسناً.
هذا يعني أن جميع مستخدمي Discourse (عادةً) سيحتاجون إلى تحديد/تقديم ملف ‘Robots.txt’.
وسأقرأ الموضوع المتعلق بهذا (كيف وماذا يجب أن يكون في هذا الملف) بالتفصيل غداً.
ثانياً، إذا لم يكن الأمر كبيراً جداً للشرح، هل يمكنك إخباري بأي طريقة سهلة يمكنني من خلالها تعديل بعض الإعدادات في لوحة تحكم Discourse الخاصة بي وفي نفس الوقت التحقق مباشرة/في الوقت الفعلي مما إذا كان Google قادراً الآن على الوصول (ثم فهرسة) موقعي بحرية أم أنه لا يزال يحصل على خطأ ‘Access Forbidden - 403’؟!
تعديل: على الرغم من أنني سأحاول بنفسي العثور على موارد مماثلة على جوجل الآن/لاحقاً.
حسنًا، لا. هذا يعني أن المسؤولين عادةً ما يبقون robots.txt ممكّنًا لتجنب العبث اليدوي ولكن بالتأكيد، قائمة الروبوتات المحظورة وما إلى ذلك هي ما يريد المسؤول تعديله.
هنا كتبت هذين النطاقين google و google.com بالأمس، كتجربة، لا أعرف ما إذا كان هذا له الأولوية على ‘Blocked Crawler User Agents’ أم لا. أو ما إذا كان هذا قد حل مشكلتي أم لا (لأن جوجل تقول إنها قامت بجدولة طلب الزحف/الفهرسة الخاص بي، والذي قد يستغرق ما يصل إلى 2-3 أيام):
ولكن بالنسبة للعديد من المشكلات الأخرى (الصغيرة) التي تؤثر على فهرسة جوجل، والتي شرحتها في المنشور الأول لهذا الموضوع الميتا، أود أن أبقي الموضوع مفتوحًا.
أيضًا، سأكون ممتنًا إذا أمكن لشخص ما أن يخبرني ماذا يحدث إذا قمت بحظر الزاحف-1 لموقع ما ضمن “وكلاء الزاحف المحظورين” وفي نفس الوقت سمحت به ضمن “وكلاء الزاحف المسموح بهم”.
وماذا يحدث إذا سمحت به ضمن “المسموح به…” ولكني حظرته من خلال ملف Robots.txt. ما الذي له الأولوية.
أوه ، ربما لهذا السبب ما زلت أتلقى خطأ أثناء محاولة الزحف / فهرسة أي مواضيع (باستثناء الصفحة الرئيسية) عبر Google Search Console:
![رسالة خطأ تشير إلى عدم إمكانية فهرسة صفحة ويب بسبب رفض الوصول ، مع تفاصيل محددة حول عملية الزحف والفهرسة. (تم تعليقه بواسطة الذكاء الاصطناعي) | 690x415] (upload://rmkNdaInvq86MvDQdy3vhtG7eP3.png)
ولكن لماذا (حتى عندما تم حظر ‘متوافق’) الصفحة الرئيسية فقط متاحة لـ Google Search Console ، كما هو موضح أدناه:
![تُظهر الصورة صفحة نتائج فحص عنوان URL في Google ، وتشير إلى أن عنوان URL موجود على Google ، وأن الصفحة مفهرسة ، وأن الصفحة يتم تقديمها عبر HTTPS. (تم تعليقه بواسطة الذكاء الاصطناعي) | 690x375] (upload://8UNjJgkTFLktTsOXQqhHfiWHIaa.png)
أخيرًا!!! يبدو أنني تغلبت على خطأ “محظور” للصفحة الرئيسية/الصفحة الرئيسية والمواضيع الفردية، بمساعدة 90% من جانبكم و10% تجريب من جانبي. شكرًا جزيلاً.
بعد إزالة “متوافق” من قائمة “الزواحف المحظورة”، وجدت ملاحظة تحت إعداد آخر، والتي، من الغباء مني تجاهلها، كانت تطلب أساسًا من المستخدمين عدم ملء أي قيمة في “وكلاء الزحف المسموح بهم” إلا إذا كنت متأكدًا تمامًا مما تفعله. لذا كان هذا هو السبب! تجاهل التحذير المكتوب بأحرف كبيرة جلب لي شهورًا عديدة من تجاهل جوجل لموقعي والكثير من المتاعب:
ولكن بالتأكيد، قائمة الروبوتات المحظورة وما إلى ذلك هي ما يريد المسؤول تعديله.
