تمكن لوحة تحكم المشرف الآن من تحديد حركة مرور الزواحف المحتملة — وهي بوتات آلية وأدوات scraping تستخدم جافا سكريبت متصفح حقيقية لكنها ليست زوارًا بشريين — وفصل تلك المشاهدات للصفحات عن أرقام حركة المرور الحقيقية لديك.
في هذا الموضوع، سنشارك كيف تعاملنا مع تحديد هذه الحركة وكيفية تفعيلك لهذه الميزة اليوم.
ماذا تغير
كان Discourse دائمًا يرشح الزواحف Crawlers التي تعرّف عن نفسها بواسطة وكلاء مستخدمين قياسيين للبوتات (مثل Googlebot) في فئة منفصلة من بيانات حركة مرور الموقع. لكن حركة المرور الآلية الحديثة أصبحت أكثر خداعًا: فهي تشغل متصفحًا كاملًا، وتنفذ جافا سكريبت، وتندمج في بيانات مشاهدات الصفحات وكأنها زيارة حقيقية. كان المشرفون يرون ارتفاعات مفاجئة في مشاهدات الصفحات Anonymous التي اتضح أنها zappers، أو أعداد زوار مبالغ فيها بسبب بوتات الذكاء الاصطناعي — دون وسيلة للتمييز بينها وبين الحركة الحقيقية للزوار غير المسجلين (أي الذين لم يسجلوا الدخول).
يضيف هذا التحديث فئة Likely Crawlers إلى بيانات حركة مرور موقعك. عند تفعيل تحسين كشف الزواحف، تُفصل مشاهدات الصفحات التي تشير خوارزمياتنا إلى أنها آلية محتملة بشكل منفصل، مما يجعل أرقام حركة المرور الحقيقية لديك أكثر دقة.
كيف يعمل الكشف
يقوم النظام بتقييم كل مشاهدة صفحة عبر المتصفح باستخدام مجموعة من الإشارات السلوكية:
- وكيل مستخدم آلي — يذكر UA بشكل صريح متصفحًا بدون واجهة رسومية (headless browser) أو أداة أتمتة (HeadlessChrome، Playwright، Puppeteer، Selenium، PhantomJS، jsdom)
- ASN لمركز بيانات — يقع عنوان IP في مساحة عناوين لمزود استضافة أو خدمة سحابية كبرى
- السرعة — يولّد عنوان IP ووكيل المستخدم عددًا غير معتاد من مشاهدات الصفحات في الساعة
- التنقل السريع — الفاصل الزمني الوسيط بين مشاهدات الصفحات أقل من 5 ثوانٍ
- دوران الجلسات — العديد من الجلسات القصيرة (معظمها صفحة واحدة لكل جلسة) من نفس عنوان IP ووكيل المستخدم
- غياب التفاعل — لا يوجد تفاعل بشري مسجل (حركة فأرة، نقرات مفاتيح، تمرير) للجلسة وجيرانها. يحمل هذا الإشارة وزنًا أكبر لحركة المرور غير المسجلة مقارنة بالحركة المسجلة.
- نسبة مرجع ضعيفة — تصل معظم مشاهدات الصفحات بدون مرجع أو من مصدر خارجي، مما يشير إلى الوصول المباشر للرابط بدلاً من التنقل داخل الموقع
- طلب مباشر واحد — مشاهدة صفحة واحدة غير متفاعلة بدون مرجع؛ تحصل على درجة أعلى إذا احتوى الرابط على معامل اللغة (locale parameter)
- Chromium قديم — نسخة Chrome قديمة بدون إشارات تفاعل
- حركة مرور موزعة — بعض الزواحف تدور عناوين IP وتبدأ جلسة جديدة تقريبًا لكل مشاهدة صفحة. نبحث الآن عن أنماط عبر الزيارات غير المسجلة التي تشترك في وكيل المستخدم و/أو مصدر الإحالة الخارجي
تتراكم الدرجات من إشارات متعددة؛ عندما تحتوي مشاهدة الصفحة على عدد معين من الإشارات أعلاه، نصنفها على أنها likely crawler.
تفعيل تحسين كشف الزواحف في مجتمعك
حاليًا، يُعتبر هذا التغيير تجريبيًا. نحن لا نزال نضبط خوارزميات الكشف ونرحب بالملاحظات.
لتفعيل ذلك، انتقل إلى صفحة التغييرات القادمة في منطقة المشرف واعثر على بند Improved crawler detection. قم بتحديث حقل Enabled for… لتفعيل الخيار لموقعك.
بمجرد التفعيل، ستعرض قسم حركة مرور الموقع في لوحة تحكم المشرف الزواحف المحتملة كفئة منفصلة.
ملاحظات هامة:
- هذا ليس علمًا دقيقًا تمامًا، وسنواصل تحسين خوارزمياتنا مع الوقت. ومع ذلك، لن نقوم بإعادة معالجة البيانات التاريخية عند تحديث الحسابات.
- تصنيف مشاهدة صفحة كـ"زاحف محتمل" لا يرفض الطلب ولا يفرض حدودًا على معدله.
- مشاهدات الصفحات للزواحف المحتملة مستثناة من الإحالات، البلدان، وتقسيمات حركة المرور الأخرى — بنفس طريقة التعامل مع الزواحف المعروفة حاليًا.
- لا تعيد قواعد الكشف الجديدة معالجة حركة المرور التاريخية تلقائيًا.
ما رأيك؟
يسعدنا تلقي ملاحظاتك — خاصة من المجتمعات التي لاحظت أنماط حركة مرور غير عادية أو ارتفاعات مفاجئة غير مفسرة. هل تبدو الأرقام صحيحة لموقعك؟ هل هناك زيارات يتم تعليمها تبدو للمستخدمين الحقيقيين؟ شاركنا ما تراه في هذا الموضوع.

