التحكم في زواحف الويب لموقع

[Discourse]

يشرح هذا الدليل كيفية إدارة زواحف الويب على موقع Discourse الخاص بك.

مستوى المستخدم المطلوب: مسؤول

يمكن لزواحف الويب أن تؤثر بشكل كبير على أداء موقعك من خلال زيادة عدد مشاهدات الصفحات وحمل الخادم.

عندما يلاحظ موقع ما زيادة مفاجئة في عدد مشاهدات الصفحات لديه، فمن المهم التحقق من كيفية تواجد زواحف الويب ضمن هذا المزيج.

---

التحقق من نشاط الزواحف

لمعرفة ما إذا كانت الزواحف تؤثر على موقعك، انتقل إلى تقرير مشاهدات الصفحات المجمعة (/admin/reports/consolidated_page_views) من لوحة تحكم المسؤول الخاصة بك. يقسم هذا التقرير أعداد مشاهدات الصفحات من المستخدمين المسجلين، والمستخدمين المجهولين، والزواحف.

موقع تعمل فيه الزواحف بشكل طبيعي:

موقع خرجت فيه الزواحف عن السيطرة:

تحديد الزواحف المحددة

انتقل إلى تقرير وكيل مستخدم زاحف الويب (/admin/reports/web_crawlers) للعثور على قائمة بأسماء زواحف الويب مرتبة حسب عدد مشاهدات الصفحات.

عندما يصل زاحف ويب إشكالي إلى الموقع، سيكون عدد مشاهدات الصفحات الخاصة به أعلى بكثير من زواحف الويب الأخرى. لاحظ أنه قد يكون هناك عدد من زواحف الويب الضارة تعمل في نفس الوقت.

حظر وتقييد الزواحف

من العادات الجيدة عدم حظر زواحف محركات البحث الرئيسية، مثل Google، و Bing، و Baidu (الصينية)، و Yandex (الروسية)، و Naver (الكورية)، و DuckDuckGo، و Yahoo وغيرها، بناءً على بلدك.

عندما يخرج زاحف ويب عن السيطرة، هناك فرصة جيدة لأن يكون نفس الزاحف قد وصل إلى مواقع أخرى وأن يكون شخص ما قد طلب بالفعل معلومات أو أنشأ تقارير عنه ستكون مفيدة لفهم ما إذا كان يجب تقييد أو حظر هذا الزاحف المحدد.

لاحظ أن بعض الزواحف قد تساهم بعدد كبير من مشاهدات الصفحات إذا كنت تستخدم خدمات طرف ثالث لمراقبة موقعك أو إضافة وظائف إليه عبر البرامج النصية، وما إلى ذلك.

للحصول على سجل بزواحف الويب غير الموثوق بها، يمكنك الرجوع إلى هذه القائمة، https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/blob/master/robots.txt/robots.txt

ضبط إعدادات الزواحف

ضمن المسؤول > الإعدادات، توجد بعض الإعدادات التي يمكن أن تساعد في تحديد معدل الزواحف المحددة:

• إبطاء الزواحف باستخدام:

• slow down crawler user agents

• slow down crawler rate

• حظر الزواحف باستخدام:

• blocked crawler user agents

تأكد من أنك تعرف اسم وكيل المستخدم الدقيق للزواحف التي ترغب في التحكم فيها. إذا قمت بتعديل أي من الإعدادات المذكورة أعلاه ولم تلاحظ انخفاضًا في مشاهدات الصفحات لهذا الوكيل، فقد ترغب في التحقق مرة أخرى من أنك تستخدم الاسم الصحيح.

عند الشك في كيفية التصرف، ابدأ دائمًا بخيار “الإبطاء” بدلاً من الحظر الكامل. تحقق بمرور الوقت مما إذا كانت هناك تحسينات. يمكنك المتابعة بالحظر الكامل إذا لم تلاحظ نتائج ملموسة.