زوار مظلمون

:information_source: ملخص يدمج خدمة وكلاء معروفين (Known Agents) مع ديسكورس (Discourse) لتتبع الزواحف وآلات كشط البيانات غير المرغوب فيها التي تزور منتدىك.
:hammer_and_wrench: رابط المستودع \u003chttps://github.com/magicball-network/discourse-darkvisitors\u003e
:open_book: دليل التثبيت كيفية تثبيت الإضافات في ديسكورس

:information_source: اعتبارًا من 3 فبراير 2026 ، تم تغيير اسم خدمة Dark Visitors إلى Known Agents. لم يتم تغيير اسم إضافة ديسكورس.

الميزات

وكلاء معروفون (Known Agents) هي خدمة تتتبع الوكلاء (الزواحف، آلات كشط البيانات، وغيرها من أنواع الروبوتات) التي تزور مواقعك الإلكترونية. ينصب اهتمامهم الرئيسي على تحليل وكلاء الذكاء الاصطناعي.

وهي تقدم خدمتين:

  • إنشاء ومراقبة ملف robots.txt
  • تحليلات الوكلاء؛ على جانب الخادم وجانب العميل

خدمة robots.txt مجانية. توفر خدمات التحليلات طبقة مجانية. أقترح عليك زيارة موقعهم الإلكتروني لمزيد من المعلومات.

تتصل إضافة ديسكورس هذه بجميع هذه الخدمات، وجميعها اختيارية ويمكن تكوينها إلى حد ما.

إنشاء ملف robots.txt

يوفر ديسكورس بالفعل خيارًا لتكوين ملف robots.txt. هذه الإضافة توسع هذا الخيار. عند التمكين، تسترجع الإضافة قائمة بالوكلاء في فئات مختلفة (يتم دعم فئات الذكاء الاصطناعي حاليًا فقط) وأولئك المفقودين في الوكلاء المكونين بالفعل، ستقوم بإضافتهم. سيتم تحديث القائمة يوميًا. بهذه الطريقة، عند التعرف على كاشط ذكاء اصطناعي جديد، سيتم إضافته إلى ملف robots.txt الخاص بك.

تعمل هذه الميزة فقط إذا كان ديسكورس يدير ملف robots.txt ولم تقم بتجاوزه يدويًا. لا تقوم الإضافة بتغيير إعداد وكلاء الزحف المحظورون، بل تضيف الوكلاء الجدد المفقودين إلى ملف robots.txt. لذلك لا يزال لديك السيطرة الكاملة على إدارة هذه القائمة.

عند زيارة ملف robots.txt الخاص بموقعك، سترى تعليقًا تمهيديًا لآخر تحديث، وعدد الوكلاء الذين تم إرجاعهم بواسطة وكلاء معروفون. تتم إضافة الوكلاء غير المكونين بالفعل إلى نهاية القائمة. يجب أن يكونوا بين Googlebot وتوجيه خريطة الموقع (إذا تم تكوينه).

تحليلات الوكلاء

يمكن تمكين تحليلات جانب الخادم وجانب العميل بشكل فردي. يمكن تمكينها لجميع الزوار، أو فقط للزوار غير المصادق عليهم.

تقوم تحليلات جانب الخادم بالإبلاغ عن الزيارات المتعقبة إلى وكلاء معروفون. سيرسل مسار الطلب، والعنوان البعيد للزائر، ورأس وكيل المستخدم (User-Agent)، وبعض رؤوس المتصفح الأخرى.

هناك بعض الإعدادات الإضافية التي يتم الإبلاغ عن الطلبات بناءً عليها، راجع الإعدادات أدناه. افتراضيًا، يتم تتبع الطلبات التي يحدد ديسكورس تتبعها كعرض فقط. لن يتم أبدًا الإبلاغ عن الطلبات التالية إلى ديسكورس:

  • الطلب إلى قسم المسؤول
  • طلبات الخلفية وواجهة برمجة التطبيقات (API)

تتم معالجة تحليلات جانب العميل عن طريق إضافة جافاسكريبت إلى صفحتك تتصل بالخادم إلى وكلاء معروفون بموجب شروط معينة:

  • يبدو أن المتصفح مؤتمت، أو متصفح ذكاء اصطناعي
  • جاء المستخدم من خدمة دردشة ذكاء اصطناعي

تحسب جميع الطلبات المتعقبة الأحداث التي تؤثر على خطة الدفع الخاصة بك.

الإعدادات

تحتاج إلى التسجيل في وكلاء معروفون (Known Agents) لاستخدام هذه الإضافة. تمنحك الطبقة المجانية 100,000 حدث شهريًا. عندما يتم الوصول إلى هذا الحد، لن ترى أي أحداث جديدة في تحليلاتهم، ولكن لا يزال بإمكانك إرسال معلومات جديدة والاستمرار في استخدام خدمة robots.txt.

بعد التسجيل، يجب عليك إنشاء مشروع (أي موقع لتتبعه). سيوفر لك هذا رمز وصول مطلوب لوظائف robots.txt وتحليلات جانب الخادم.

عند تمكين وظيفة robots.txt، يستغرق الأمر بعض الوقت قبل تحديثها. قم بزيارة https://yoursite/robots.txt لمعرفة ما إذا كانت تعمل. يجب أن تحتوي على تعليق في الأعلى

# Augmented by Dark Visitors on 2025-05-07T12:46:00+00:00 with 28 agents

عند تمكين تحليلات جانب الخادم، يمكنك اختبار ما إذا كانت تعمل عن طريق طلب زيارة اختبار من إعدادات مشروع وكلاء معروفون. قد يستغرق الأمر بضع ثوانٍ. يجب أن ترى النتيجة في صفحة الوقت الفعلي على وكلاء معروفون.

الإعدادات

الاسم الوصف
darkvisitors enabled علامة عامة لتمكين الإضافة بأكملها
darkvisitors access token رمز الوصول السري المطلوب لوظائف robots.txt وتحليلات جانب الخادم من أجل التواصل مع وكلاء معروفون. ستجد هذا في مشروع وكلاء معروفون الخاص بك ضمن الإعدادات.
darkvisitors robots txt enabled عند التمكين، سيتم تعزيز ملف robots.txt الخاص بـ ديسكورس بوكلاء إضافيين
darkvisitors robots txt agents نوع الوكلاء المراد إضافتهم إلى ملف robots.txt.
darkvisitors robots txt path المسار المطلوب رفض وصول الوكلاء إليه. من الأفضل تركه على / بحيث يتم رفض الوصول إلى الموقع بأكمله.
darkvisitors server analytics يتيح تحليلات جانب الخادم. أوصي بتمكينها فقط للمستخدمين المجهولين.
darkvisitors server analytics include طلبات إضافية للتتبع. يمكنك أيضًا تتبع الطلبات إلى الملفات التي تم تحميلها، أو حتى طلبات 404 غير موجودة.
darkvisitors server analytics ignore سلاسل فرعية في وكلاء المستخدمين المراد تجاهلهم (حساسة لحالة الأحرف). إذا كنت تستخدم مراقبة وقت التشغيل، أقترح بشدة تضمين وكيل المستخدم المعرّف الخاص بهم في هذه القائمة.
darkvisitors client analytics تمكين تحليلات جانب العميل. سيعطيك هذا أيضًا رؤى حول المستخدمين العاديين الذين يزورون منتدىك أثناء القدوم من خدمة دردشة ذكاء اصطناعي.
darkvisitors client analytics project key بالنسبة لتحليلات جانب العميل، يجب عليك تكوين مفتاح المشروع (العام). يمكنك العثور على هذا في إعدادات مشروع وكلاء معروفون الخاص بك في قسم علامة جافاسكريبت، وهو الرمز الذي يلي project_key=
5 إعجابات

شكراً لك يا elmuerte! لقد قمت بإعداده وهو يعمل بشكل رائع.

أرى أنه في إعدادات المكون الإضافي، أنواع الوكلاء التي يمكن تحديدها للاستبعاد عبر robots.txt هي:

  • AI Data Scraper [محدد افتراضيًا]
  • Undocumented AI Agent [محدد افتراضيًا]
  • AI Agent
  • AI Assistant
  • AI Search Crawler

ولكن القائمة الكاملة لأنواع وكلاء Dark Visitors هي:
(غامق = إضافي)

الزواحف وكاشطات…

  • AI Assistant
  • AI Data Scraper
  • AI Search Crawler
  • Archiver
  • Developer Helper
  • Fetcher
  • Intelligence Gatherer
  • Scraper
  • Search Engine Crawler
  • Security Scanner
  • SEO Crawler
  • Uncategorized Agent
  • Undocumented AI Agent

وكلاء الذكاء الاصطناعي…

  • AI Agent
  • Headless Agent

ليست كل هذه الأنواع من الوكلاء أشياء قد يرغب المرء في حظرها، ولكنني أود تضمين بعضها مثل Scraper، و AI Data Scraper، و SEO Crawler…

هل هذه الأنواع الإضافية من الوكلاء أحدث من المكون الإضافي الخاص بك؟ هل يمكن إضافتها إلى قائمة الخيارات الحالية في settings.yml؟

باستثناء robots.txt هو مجرد طلب. البوت يتبعه أو لا. جدار الحماية هو الطريقة الوحيدة لإيقاف تلك.

نعم، أفهم ذلك – ولكن بما أن Dark Visitors يعمل فقط مع robots.txt، أود جعله يعمل بأفضل شكل ممكن.

(أنا أقرأ حاليًا بعض المنشورات التي تقترح فيها حظرًا حقيقيًا باستخدام وكيل عكسي Nginx، ولكني لست متأكدًا مما إذا كنت بحاجة إلى الذهاب إلى هذا الحد بعد.)

هذا صعب بعض الشيء. ولكن يجب أن يعمل Dark Visitor مع قائمة الحظر الخاصة بـ Discourse ليكون مفيدًا على مستوى ما. بالتأكيد، مع ذلك لا تحتاج إلى إضافة OpenAI يدويًا أو غير ذلك مما يتبع robots.txt.

لقد اتصلت بـ Dark Visitors بشأن هذا في 3 مايو من هذا العام، وكان ردهم “ليس في الوقت الحالي”. لكنني أرى أن الوثائق الحالية تسرد المزيد من الأنواع الآن.

في الوقت الحالي، تدعم واجهة برمجة تطبيقات Dark Visitors الأنواع التالية:

لقد تأكدت من أنه يمكن توسيع الإعداد في Discourse بإضافة أنواع وكلاء إضافية بمجرد إضافتها.

بعد إضافة النوع الجديد وحفظ الإعداد، يجب تحديث ملف robots.txt على الفور بجميع الوكلاء الجدد.

إعجاب واحد (1)

يا إلهي، لقد فاتني تمامًا حقل “بحث أو إنشاء”. السمة الخاصة بي لديها تباين منخفض جدًا هناك وقد أفلتت من عيني. شكراً للتوضيح!