يمكن الآن للوحة تحكم المسؤول تحديد حركة المرور المحتملة من الزواحف (Crawlers) — وهي البوتات والبرامج الآلية التي تستخدم جافاسكربت المتصفح الفعلي لكنها ليست زوارًا بشريين — وفصل هذه المشاهدات عن أرقام الزيارات الحقيقية لموقعك.
في هذا الموضوع، سنشارككم كيف نهجنا في تحديد هذه الحركة المرورية وكيف يمكنك تفعيل هذه الميزة اليوم.
ما الذي تغيّر؟
كانت Discourse دائمًا تصفّي Crawlers التي تعرّف عن نفسها عبر وكلاء المستخدم القياسية (مثل Googlebot) في فئة منفصلة من بيانات حركة مرور الموقع. لكن الحركة المرورية الآلية الحديثة أكثر خداعًا: فهي تشغّل متصفحًا كاملًا، وتنفّذ جافاسكربت، وتندمج في بيانات مشاهدات الصفحات الخاصة بك وكأنها زيارة حقيقية. كان المسؤولون يشاهدون قفزات في عدد المشاهدات المجهولة التي يتبيّن لاحقًا أنها من برامج النسخ الآلي (Scrapers)، أو ارتفاعًا في عدد الزوار بسبب البوتات المدعومة بالذكاء الاصطناعي — دون وجود طريقة للتمييز بينها وبين حركة المرور البشرية الحقيقية المجهولة (أي غير المسجّلة دخولًا).
تضيف هذه التحديث فئة جديدة باسم Likely Crawlers (الزواحف المحتملة) إلى بيانات حركة مرور موقعك. عند تفعيل تحسين كشف الزواحف، تُفصل المشاهدات التي تكتشفها خوارزمياتنا على أنها محتملة كونها آلية في فئة مستقلة، مما يجعل أرقام حركة المرور البشرية لديك أكثر دقة.
كيف يعمل الكشف؟
تقيّم النظام كل مشاهدة صفحة للمتصفح باستخدام مجموعة من الإشارات السلوكية:
- وكيل مستخدم آلي — يذكر وكيل المستخدم (UA) صراحةً متصفحًا بلا رأس (Headless) أو أداة أتمتة (HeadlessChrome، Playwright، Puppeteer، Selenium، PhantomJS، jsdom)
- رقم نظام مستقل (ASN) لزواحف معروفة — رقم النظام المستقل لعنوان IP هو شبكة زواحف معروفة (Baidu، Ahrefs، Yandex، Internet Archive، إلخ)
- ASN لمراكز البيانات — يقع عنوان IP ضمن نطاق عناوين مزوّد سحابي أو استضافة كبير
- السرعة (Velocity) — يولّد عنوان IP + وكيل المستخدم عددًا غير معتاد من المشاهدات في الساعة
- التنقل السريع — الفاصل الوسيط (Median) بين المشاهدات أقل من 5 ثوانٍ
- تقلب الجلسات (Session churn) — عدد كبير من الجلسات القصيرة (معظمها صفحة واحدة فقط) من نفس عنوان IP + وكيل المستخدم
- غياب التفاعل — لا يوجد تفاعل مسجّل يشبه التفاعل البشري (تحريك الماوس، ضغطات لوحة المفاتيح، التمرير) لجلسة وجيرانها
- نسبة مصادر إحالة سيئة (Bad referrer ratio) — تصل معظم المشاهدات بدون مصدر إحالة أو من مصدر خارجي، مما يشير إلى وصول مباشر إلى رابط URL بدلاً من التنقل عبر الموقع
- طلب مباشر واحد — مشاهدة صفحة واحدة غير متفاعلة بدون مصدر إحالة؛ تحصل على تقييم أعلى إذا كان الرابط يحمل معلمة لغة (Locale)
- تدوير عناوين IP السريع — استخدام عناوين IP متعددة ضمن جلسة واحدة، بسرعة تدوير أسرع مما يفعله البشر
- Chromium قديم — إصدار قديم من Chrome بدون إشارات تفاعل
تتراكم النقاط من عدة إشارات؛ عندما تمتلك مشاهدة صفحة عددًا معينًا من الإشارات المذكورة أعلاه، نصنّفها على أنها likely crawler (زاحف محتمل).
تفعيل تحسين كشف الزواحف في مجتمعك
حاليًا، يُعتبر هذا تغييرًا تجريبيًا. لا نزال نضبط خوارزميات الكشف ونرحّب بالملاحظات.
لتفعيل هذه الميزة، انتقل إلى صفحة التغييرات القادمة في منطقة الإدارة الخاصة بك وابحث عن عنصر تحسين كشف الزواحف. حدّث حقل مفعّل لـ… (Enabled for…) لتسجيل موقعك في الخدمة.
بمجرد التفعيل، ستعرض قسم حركة مرور الموقع في لوحة تحكم المسؤول الزواحف المحتملة كفئة منفصلة.
ملاحظات مهمة:
- هذه ليست علمًا دقيقًا تمامًا، وسنواصل تحسين خوارزمياتنا مع مرور الوقت. ومع ذلك، لن نقوم بتحديث البيانات السابقة (Backfill) عند تحديث هذه الحسابات.
- تصنيف مشاهدة الصفحة على أنها زاحف محتمل لا يعني رفض الطلب أو تقييد معدله (Rate-limit).
- مشاهدات الزواحف المحتملة مستبعدة من تحليلات المصادر الإحالية، والبلدان، وتقسيمات الحركة المرورية الأخرى — بنفس الطريقة التي تُعالج بها الزواحف المعروفة حاليًا.
ما رأيك؟
نحبّ ملاحظاتكم — خاصةً من المجتمعات التي لاحظت أنماط حركة مرور غير معتادة أو قفزات غير مبررة. هل تبدو الأرقام صحيحة لموقعك؟ هل هناك زيارات يتم وضع علامة عليها تبدو لك كزوار حقيقيين؟ شاركنا ما تراه في هذا الموضوع.
