تحسين طريقة اكتشافنا وإشاراتنا للزواحف المحتملة في بيانات حركة المرور لديك

تمكن لوحة تحكم المشرف الآن من تحديد حركة مرور الزواحف المحتملة — وهي بوتات آلية وأدوات scraping تستخدم جافا سكريبت متصفح حقيقية لكنها ليست زوارًا بشريين — وفصل تلك المشاهدات للصفحات عن أرقام حركة المرور الحقيقية لديك.

في هذا الموضوع، سنشارك كيف تعاملنا مع تحديد هذه الحركة وكيفية تفعيلك لهذه الميزة اليوم.

:microscope: ماذا تغير

كان Discourse دائمًا يرشح الزواحف Crawlers التي تعرّف عن نفسها بواسطة وكلاء مستخدمين قياسيين للبوتات (مثل Googlebot) في فئة منفصلة من بيانات حركة مرور الموقع. لكن حركة المرور الآلية الحديثة أصبحت أكثر خداعًا: فهي تشغل متصفحًا كاملًا، وتنفذ جافا سكريبت، وتندمج في بيانات مشاهدات الصفحات وكأنها زيارة حقيقية. كان المشرفون يرون ارتفاعات مفاجئة في مشاهدات الصفحات Anonymous التي اتضح أنها zappers، أو أعداد زوار مبالغ فيها بسبب بوتات الذكاء الاصطناعي — دون وسيلة للتمييز بينها وبين الحركة الحقيقية للزوار غير المسجلين (أي الذين لم يسجلوا الدخول).

يضيف هذا التحديث فئة Likely Crawlers إلى بيانات حركة مرور موقعك. عند تفعيل تحسين كشف الزواحف، تُفصل مشاهدات الصفحات التي تشير خوارزمياتنا إلى أنها آلية محتملة بشكل منفصل، مما يجعل أرقام حركة المرور الحقيقية لديك أكثر دقة.

كيف يعمل الكشف

يقوم النظام بتقييم كل مشاهدة صفحة عبر المتصفح باستخدام مجموعة من الإشارات السلوكية:

  • وكيل مستخدم آلي — يذكر UA بشكل صريح متصفحًا بدون واجهة رسومية (headless browser) أو أداة أتمتة (HeadlessChrome، Playwright، Puppeteer، Selenium، PhantomJS، jsdom)
  • ASN لمركز بيانات — يقع عنوان IP في مساحة عناوين لمزود استضافة أو خدمة سحابية كبرى
  • السرعة — يولّد عنوان IP ووكيل المستخدم عددًا غير معتاد من مشاهدات الصفحات في الساعة
  • التنقل السريع — الفاصل الزمني الوسيط بين مشاهدات الصفحات أقل من 5 ثوانٍ
  • دوران الجلسات — العديد من الجلسات القصيرة (معظمها صفحة واحدة لكل جلسة) من نفس عنوان IP ووكيل المستخدم
  • غياب التفاعل — لا يوجد تفاعل بشري مسجل (حركة فأرة، نقرات مفاتيح، تمرير) للجلسة وجيرانها. يحمل هذا الإشارة وزنًا أكبر لحركة المرور غير المسجلة مقارنة بالحركة المسجلة.
  • نسبة مرجع ضعيفة — تصل معظم مشاهدات الصفحات بدون مرجع أو من مصدر خارجي، مما يشير إلى الوصول المباشر للرابط بدلاً من التنقل داخل الموقع
  • طلب مباشر واحد — مشاهدة صفحة واحدة غير متفاعلة بدون مرجع؛ تحصل على درجة أعلى إذا احتوى الرابط على معامل اللغة (locale parameter)
  • Chromium قديم — نسخة Chrome قديمة بدون إشارات تفاعل
  • حركة مرور موزعة — بعض الزواحف تدور عناوين IP وتبدأ جلسة جديدة تقريبًا لكل مشاهدة صفحة. نبحث الآن عن أنماط عبر الزيارات غير المسجلة التي تشترك في وكيل المستخدم و/أو مصدر الإحالة الخارجي

تتراكم الدرجات من إشارات متعددة؛ عندما تحتوي مشاهدة الصفحة على عدد معين من الإشارات أعلاه، نصنفها على أنها likely crawler.

:gear: تفعيل تحسين كشف الزواحف في مجتمعك

حاليًا، يُعتبر هذا التغيير تجريبيًا. نحن لا نزال نضبط خوارزميات الكشف ونرحب بالملاحظات.

لتفعيل ذلك، انتقل إلى صفحة التغييرات القادمة في منطقة المشرف واعثر على بند Improved crawler detection. قم بتحديث حقل Enabled for… لتفعيل الخيار لموقعك.

بمجرد التفعيل، ستعرض قسم حركة مرور الموقع في لوحة تحكم المشرف الزواحف المحتملة كفئة منفصلة.

:warning: ملاحظات هامة:

  • هذا ليس علمًا دقيقًا تمامًا، وسنواصل تحسين خوارزمياتنا مع الوقت. ومع ذلك، لن نقوم بإعادة معالجة البيانات التاريخية عند تحديث الحسابات.
  • تصنيف مشاهدة صفحة كـ"زاحف محتمل" لا يرفض الطلب ولا يفرض حدودًا على معدله.
  • مشاهدات الصفحات للزواحف المحتملة مستثناة من الإحالات، البلدان، وتقسيمات حركة المرور الأخرى — بنفس طريقة التعامل مع الزواحف المعروفة حاليًا.
  • لا تعيد قواعد الكشف الجديدة معالجة حركة المرور التاريخية تلقائيًا.

:mega: ما رأيك؟

يسعدنا تلقي ملاحظاتك — خاصة من المجتمعات التي لاحظت أنماط حركة مرور غير عادية أو ارتفاعات مفاجئة غير مفسرة. هل تبدو الأرقام صحيحة لموقعك؟ هل هناك زيارات يتم تعليمها تبدو للمستخدمين الحقيقيين؟ شاركنا ما تراه في هذا الموضوع.

21 إعجابًا

يبدو الأمر جيدًا، فهل ينظر أيضًا إلى المستخدمين المسجّلين في ما يتعلق بهذه الإشارات؟

إعجاب واحد (1)

هل سيتم احتساب likely crawlers ضمن حدّ عدد المشاهدات الشهري؟ :slightly_smiling_face:

إعجاب واحد (1)

نَسيتُ تعديل رابط شيءٍ لصقته أثناء استخدام نموذج، وفي منتدى قيد الإنشاء شهدتُ زيادةً بنسبة 35,000٪.

لا يزال لديّ مهمة معلقة تتمثل في تثبيت نموذج محلي صغير لتنظيف أي مراجع حقيقية لما أعمل عليه.

من الرائع وجود هذه الخيـارة كفلاتر ثانوي. شكرًا لكم على بنائها.

هذه سؤالا جيداً، وهو أمر لم نتخذ قراراً بشأنه بعد — نتوقع الحاجة إلى ضبط نماذج اكتشاف الزواحف لدينا بدقة، وبما أن هذه الميزة اختيارية، فلا نعلم بعد ما إذا كان لهذا الأمر أي تأثير على حدود عدد المشاهدات.

سنناقش هذا الأمر داخلياً وسأتواصل معك لاحقاً لإبلاغك بالنتيجة!

4 إعجابات

شكرًا على الجهود المبذولة هنا. هل يُرجَّح أن يكون من بين بنود خارطة الطريق القادمة إمكانية اتخاذ إجراء ضدهم بمجرد رضاكم عن خوارزمية الاكتشاف؟

إعجابَين (2)

سيكون رائعًا إذا تمكنا من الحصول على قائمة بالوكلاء المستخدمين (user agents) التي تم تحديدها، أو التي يُحتمل أن تكون روبوتات أو زواحف.

هذا مفيد حتى يمكن إضافتها إلى المجموعات المحظورة أو الخاضعة للتحكم في معدل الطلبات.

3 إعجابات

نعم، نحاول أيضًا اكتشاف الأتمتة لدى المستخدمين المسجلين. على منصة Meta، وجدنا بعض “المستخدمين” بمستوى ثقة صفر كانوا يفحصون الموقع.

إعجابَين (2)

التحدي يكمن في أن “الزواحف المحتملة” تستخدم في كثير من الأحيان عناوين مستخدمين مشروعة. أحيانًا يبدو إصدار المتصفح قديمًا جدًا، لكنه ليس إشارة قوية بما يكفي لاعتباره روبوتًا محتملًا. لهذا السبب نجمع عددًا كبيرًا من المقاييس ونحاول دمجها لتقدير الاحتمالية.

عندما تقدم الزواحف نفسها بصراحة عبر عنوان مستخدم مثل Bingbot أو Googlebot، فإنها تُصنَّف مباشرةً في فئة “الزواحف”.

إعجابَين (2)

بالتأكيد. بفضل الإحصاءات التي يمكن لفريق النقاش استخلاصها من الخلفية (الباك إند)، كان من المعتاد أن تكون وكلاء المستخدم (User Agents) أكثر غموضًا، وغالبًا ما تشهد ارتفاعًا قصير الأمد في أنماط الوصول، مما سمح لنا بإزالة بعضها من القائمة دون التأثير على المستخدمين.

ليس علمًا دقيقًا تمامًا. وقد يُضيف القدرة على ربط هذا بجهات جغرافية محددة دقة أفضل في إدارتها.

إعجابَين (2)