التحكم في زواحف الويب لموقع ما

[Discourse]

يشرح هذا الدليل كيفية إدارة زواحف الويب على موقع Discourse الخاص بك.

مستوى المستخدم المطلوب: مسؤول

يمكن لزواحف الويب أن تؤثر بشكل كبير على أداء موقعك من خلال زيادة عدد مشاهدات الصفحات وحمل الخادم.

عندما يلاحظ موقع ما ارتفاعًا مفاجئًا في عدد مشاهدات الصفحات، من المهم التحقق من كيفية ارتباط زواحف الويب بهذا الأمر.

---

التحقق من نشاط الزواحف

لمعرفة ما إذا كانت الزواحف تؤثر على موقعك، انتقل إلى تقرير زيارات الموقع (/admin/reports/site_traffic) من لوحة الإدارة الخاصة بك. يقسم هذا التقرير أعداد مشاهدات الصفحات من متصفحات المستخدمين المسجلين، ومتصفحات المستخدمين المجهولين، والزواحف، ومصادر أخرى.

موقع تعمل فيه الزواحف بشكل طبيعي:

موقع تكون فيه الزواحف خارجة عن السيطرة:

تحديد الزواحف المحددة

انتقل إلى تقرير وكيل مستخدم زاحف الويب (/admin/reports/web_crawlers) للعثور على قائمة بأسماء زواحف الويب مرتبة حسب عدد مشاهدات الصفحة.

عندما يزور زاحف ويب إشكالي الموقع، سيكون عدد مشاهداته للصفحات أعلى بكثير من زواحف الويب الأخرى. لاحظ أنه قد يكون هناك عدد من زواحف الويب الخبيثة تعمل في نفس الوقت.

حظر الزواحف وتقييدها

من الممارسات الجيدة عدم حظر زواحف محركات البحث الرئيسية، مثل Google، وBing، وBaidu (الصينية)، وYandex (الروسية)، وNaver (الكورية)، وDuckDuckGo، وYahoo وغيرهم، بناءً على بلدك.

عندما يكون زاحف ويب خارجًا عن السيطرة، هناك احتمال كبير أن يكون نفس الزاحف قد زار مواقع أخرى وقام شخص ما بالفعل بطلب معلومات عنه أو إنشاء تقارير عنه ستكون مفيدة لفهم ما إذا كان ينبغي تقييد هذا الزاحف المحدد أو حظره.

لاحظ أن بعض الزواحف قد تساهم بعدد كبير من مشاهدات الصفحات إذا كنت تستخدم خدمات تابعة لجهات خارجية لمراقبة موقعك أو إضافة وظائف إليه عبر البرامج النصية، وما إلى ذلك.

للحصول على سجل بالزواحف غير الموثوق بها، يمكنك الرجوع إلى هذه القائمة، \u003chttps://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/blob/master/robots.txt/robots.txt\u003e

تعديل إعدادات الزواحف

ضمن الإدارة > الإعدادات، هناك بعض الإعدادات التي يمكن أن تساعد في تحديد معدل الزواحف المحددة:

• إبطاء الزواحف باستخدام:

  • slow down crawler user agents — يتضمن هذا بشكل افتراضي gptbot، وclaudebot، وanthropic-ai، وbrightbot
  • slow down crawler rate — عدد الثواني بين الطلبات المسموح بها لكل زاحف (الافتراضي: 60)

• حظر الزواحف باستخدام:

  • blocked crawler user agents — يتضمن هذا بشكل افتراضي mauibot، وsemrushbot، وahrefsbot، وblexbot، وseo spider

• السماح فقط لزواحف محددة باستخدام:

  • allowed crawler user agents — عند تعيينه، سيُسمح فقط للزواحف المدرجة بالوصول إلى الموقع؛ وسيتم حظر جميع الزواحف الأخرى. يعمل هذا كقائمة سماح صارمة. تحذير: سيؤدي تعيين هذا إلى تجاوز blocked crawler user agents وحظر جميع الزواحف غير المدرجة، بما في ذلك محركات البحث الرئيسية إذا لم يتم تضمينها.

تأكد من معرفة اسم وكيل المستخدم الدقيق للزواحف التي ترغب في التحكم بها. إذا قمت بتعديل أي من الإعدادات المذكورة أعلاه ولم ترَ انخفاضًا في عدد مشاهدات ذلك الوكيل، فقد ترغب في التحقق مرة أخرى من أنك تستخدم الاسم الصحيح.

عند الشك في كيفية التصرف، ابدأ دائمًا بخيار “الإبطاء” بدلاً من الحظر الكامل. تحقق بمرور الوقت مما إذا كانت هناك تحسينات. يمكنك المتابعة إلى الحظر الكامل إذا لم تلاحظ نتائج ملموسة.