اقتراح
اجعل الذكاء الاصطناعي يحدد زواحف الويب التي تزحف بانتظام إلى الموقع ولكنها لا تولد زيارات. قم بتمييزها للمراجعة من قبل المسؤولين.
بالإضافة إلى ذلك، قم بتعديل تقرير عرض الصفحة الموحد لتفصيل الزواحف إلى مزيد من التفاصيل
- الزواحف التي تولد زيارات
- الزواحف لمرة واحدة
- أخرى
هناك العديد من زواحف الويب التي تزور المواقع يوميًا أو بشكل متكرر، وبالنسبة لمواقع مثل SWI-Prolog، يقوم الكثير منها بزيادة عدد مرات مشاهدة الصفحة ولكن بعد ذلك لا يوجد فائدة للموقع من ذلك. في معظم الأحيان، تكون هذه مواقع محركات بحث، ولكن إذا لم يكن محرك البحث يولد زيارات، فيجب استبعاده من السماح له بزحف الموقع.
نعم، أعلم أنه لا توجد طريقة مثالية لإيقاف زاحف ويب سيء السلوك، ولكن تقليل عدد مرات مشاهدة الصفحة غير الضرورية من زواحف الويب هذه يمكن أن يوفر أموالًا ووقتًا حقيقيين على المدى الطويل.