يمكن الآن للوحة تحكم المشرف تحديد حركة المرور الناتجة عن الزواحف الإلكترونية المحتملة — وهي روبوتات آلية وجامعو بيانات تستخدم جافاسكريبت متصفح حقيقي لكنها ليست زوارًا بشريين — وفصل مشاهدات الصفحات هذه عن أرقام حركة المرور الحقيقية.
في هذا الموضوع، سنشارككم كيفية مقاربتنا لتحديد هذه الحركة المرورية وكيفية تفعيل هذه الميزة اليوم.
ما الذي تغيّر
كانت Discourse دائمًا ترشّح الزواحف (Crawlers) التي تعرّف عن نفسها بوكلاء مستخدم (User Agent) قياسيين للروبوتات (مثل Googlebot) في فئة منفصلة من بيانات حركة المرور على الموقع. لكن الحركة الآلية الحديثة أصبحت أكثر خداعًا: فهي تشغل متصفحًا كاملًا، وتنفذ جافاسكريبت، وتمتزج مع بيانات مشاهدات الصفحات وكأنها زيارة حقيقية. كان المشرفون يلاحظون زيادات مفاجئة في حركة مرور المجهولين (Anonymous) التي يتبين أنها جامع بيانات، أو أعداد زوار منتفخة بسبب روبوتات الذكاء الاصطناعي — دون وجود طريقة للتمييز بينها وبين حركة المرور البشرية المجهولة حقًا (أي غير المسجلة الدخول).
يضيف هذا التحديث فئة الزواحف المحتملة (Likely Crawlers) إلى بيانات حركة المرور على موقعك. عند تفعيل تحسين كشف الزواحف، تُفصل مشاهدات الصفحات التي تشير خوارزمياتنا الاحتمالية إلى أنها آلية تلقائيًا، مما يجعل أرقام حركة المرور البشرية أدق.
كيف يعمل الكشف
يقوم النظام بتقييم كل مشاهدة صفحة من المتصفح باستخدام مجموعة من إشارات السلوك:
- وكيل مستخدم الآلي — يذكر وكيل المستخدم صراحةً متصفحًا بدون واجهة رسومية (Headless) أو أداة أتمتة (HeadlessChrome، Playwright، Puppeteer، Selenium، PhantomJS، jsdom)
- شبكة أنظمة الحكم (ASN) للزواحف المؤكدة — رقم الشبكة الذاتية المستقلة (Autonomous System Number) للعنوان IP تابع لشبكة زواحف معروفة (Baidu، Ahrefs، Yandex، Internet Archive، إلخ.)
- شبكة أنظمة الحكم (ASN) لمراكز البيانات — يقع العنوان IP في نطاق عناوين مقدم خدمات سحابية أو استضافة رئيسي
- سرعة الوصول (Velocity) — يقوم العنوان IP + وكيل المستخدم بإنشاء عدد غير معتاد من مشاهدات الصفحات في الساعة
- التنقل السريع — الفاصل الزمني الوسيط بين مشاهدات الصفحات أقل من 5 ثوانٍ
- تغير الجلسات المتكرر — جلسات قصيرة متعددة (غالبًا صفحة واحدة لكل جلسة) من نفس العنوان IP + وكيل المستخدم
- غياب التفاعل — عدم تسجيل تفاعلات شبيهة بالبشر (حركة الفأرة، ضغطات المفاتيح، التمرير) للجلسة وجيرانها. تحمل هذه الإشارة وزنًا أكبر لحركة المرور المجهولة مقارنة بحركة المرور المسجلة الدخول.
- نسبة الإحالة السيئة — تصل معظم مشاهدات الصفحات بدون رابط إحالة (referrer) أو بإحالة خارجية، مما يشير إلى الوصول المباشر عبر الرابط بدلاً من التنقل عبر الموقع
- طلب مباشر واحد — مشاهدة صفحة واحدة غير متفاعلة وبدون رابط إحالة؛ تحصل على درجة أعلى إذا كان الرابط يحمل معلمة لغة (locale)
- تدوير سريع لعناوين IP — استخدام عناوين IP متعددة ضمن جلسة واحدة، بدورة أسرع مما يفعله الإنسان
- Chromium قديم — إصدار Chrome قديم بدون إشارات تفاعل
- حركة مرور موزعة — يقوم بعض الزواحف بتدوير عناوين IP وبدء جلسة جديدة لكل مشاهدة صفحة تقريبًا. نبحث الآن عن أنماط عبر الزيارات المجهولة التي تتشارك في وكيل المستخدم وتشارك إما في الشبكة أو في مصدر إحالة خارجي
تتراكم الدرجات من إشارات متعددة؛ عندما تصل مشاهدة الصفحة إلى حد معين من الإشارات المذكورة أعلاه، نصنفها على أنها زاحف محتمل.
تفعيل تحسين كشف الزواحف في مجتمعك
حاليًا، يعتبر هذا التغيير تجريبيًا. لا نزال نحسّن خوارزميات الكشف ونرحب بالتغذية الراجعة.
لتفعيل هذا الخيار، توجه إلى صفحة التغييرات القادمة في منطقة المشرف وابحث عن عنصر كشف محسّن للزواحف. حدّث حقل مفعّل لـ… لتفعيله لموقعك.
بمجرد التفعيل، ستعرض لوحة معلومات المشرف قسم “حركة مرور الموقع” بحيث تظهر الزواحف المحتملة كفئة منفصلة.
ملاحظات هامة:
- هذا ليس علمًا دقيقًا تمامًا، وسنواصل تحسين خوارزمياتنا مع الوقت. ومع ذلك، لن نعيد معالجة البيانات التاريخية (Backfill) عند تحديث هذه الحسابات.
- تصنيف مشاهدة الصفحة كزاحف محتمل لا يرفض الطلب أو يفرض حدودًا على معدله.
- تُستبعد مشاهدات الصفحات للزواحف المحتملة من روابط الإحالة، والبلدان، والتصنيفات الأخرى لحركة المرور — بنفس طريقة معالجة الزواحف المعروفة حاليًا.
- لا تؤدي التغييرات في قواعد الكشف إلى إعادة معالجة جميع حركة المرور التاريخية تلقائيًا.
ما رأيك؟
نود أن نسمع تغذيتك الراجعة — خاصة من المجتمعات التي لاحظت أنماط حركة مرور غير معتادة أو زيادات مفاجئة دون تفسير. هل تبدو الأرقام صحيحة لموقعك؟ هل هناك زيارات تم تعليمها على أنها آلية بينما تبدو لك كمستخدمين حقيقيين؟ شارك ما تراه في هذا الموضوع.
