زوار الظلام

:information_source: ملخص يدمج خدمة Dark Visitors مع Discourse لتتبع الزواحف وبرامج الاستخراج غير المرغوب فيها التي تزور منتداك.
:hammer_and_wrench: رابط المستودع \u003chttps://github.com/magicball-network/discourse-darkvisitors\u003e
:open_book: دليل التثبيت كيفية تثبيت الإضافات في Discourse

الميزات

Dark Visitors هي خدمة تتتبع الوكلاء (الزواحف، برامج الاستخراج، وأنواع أخرى من الروبوتات) التي تزور مواقعك. ينصب تركيزهم الرئيسي على تحليل وكلاء الذكاء الاصطناعي.

تقدم خدمتين:

  • إنشاء ومراقبة ملف robots.txt
  • تحليل الوكلاء؛ على جانب الخادم وجانب العميل

خدمة robots.txt مجانية. تقدم خدمات التحليل طبقة مجانية. أقترح عليك زيارة موقعهم الإلكتروني لمزيد من المعلومات.

يقوم مكون Discourse الإضافي هذا بالاتصال بجميع هذه الخدمات، وجميعها اختيارية وقابلة للتكوين بدرجة معينة.

إنشاء ملف robots.txt

يوفر Discourse بالفعل خيارًا لتكوين ملف robots.txt. يوسع هذا المكون الإضافي ذلك. عند تمكينه، يسترد المكون الإضافي قائمة بالوكلاء في فئات مختلفة (حاليًا، يتم دعم فئات الذكاء الاصطناعي فقط) وأولئك المفقودين في الوكلاء المكونين بالفعل، سيضيفهم. سيتم تحديث القائمة يوميًا. بهذه الطريقة، عندما يتم التعرف على برنامج استخراج ذكاء اصطناعي جديد، سيتم إضافته إلى ملف robots.txt الخاص بك.

تعمل هذه الميزة فقط إذا كان Discourse يدير ملف robots.txt ولم تقم بتجاوزه يدويًا. لا يغير المكون الإضافي إعداد وكلاء الزحف المحظورين، بل يعزز ملف robots.txt بالوكلاء الجدد المفقودين. لذلك لا تزال تتحكم بالكامل في إدارة هذه القائمة.

عند زيارة ملف robots.txt الخاص بموقعك، سترى تعليقًا في البداية لآخر تحديث، وعدد الوكلاء الذين تم إرجاعهم بواسطة Dark Visitors. يتم إضافة الوكلاء غير المكونين بالفعل إلى نهاية القائمة. يجب أن يكونوا بين Googlebot وتوجيه خريطة الموقع (إذا تم تكوينها).

تحليل الوكلاء

يمكن تمكين تحليلات جانب الخادم وجانب العميل بشكل فردي. يمكن تمكينها لجميع الزوار، أو فقط للزوار غير المصادق عليهم.

تقوم تحليلات جانب الخادم بالإبلاغ عن الزيارات المتعقبة إلى Dark Visitors. سترسل مسار الطلب، وعنوان IP البعيد للزائر، ورأس User-Agent، و المزيد من رؤوس المتصفح.

هناك بعض الإعدادات الإضافية التي يتم الإبلاغ عن الطلبات إليها، انظر الإعدادات أدناه. افتراضيًا، يتم تتبع الطلبات التي يحددها Discourse لتتبعها كعرض. لن يتم الإبلاغ عن الطلبات التالية إلى Discourse:

  • طلبات إلى قسم المسؤول
  • طلبات الخلفية وطلبات واجهة برمجة التطبيقات

يتم التعامل مع تحليلات جانب العميل عن طريق إضافة Javascript إلى صفحتك والتي تتصل بـ Dark Visitors في ظل ظروف معينة:

  • يبدو أن المتصفح مؤتمت، أو متصفح ذكاء اصطناعي
  • جاء المستخدم من خدمة دردشة ذكاء اصطناعي

تُحتسب جميع الطلبات المتعقبة مقابل الأحداث التي تؤثر على خطة الدفع الخاصة بك.

التكوين

تحتاج إلى التسجيل في Dark Visitors لاستخدام هذا المكون الإضافي. تمنحك الطبقة المجانية 1,000,000 حدث شهريًا. عندما يصل هذا الحد، لن ترى أي أحداث أحدث في تحليلاتهم، ولكن لا يزال بإمكانك إرسال معلومات جديدة والاستمرار في استخدام خدمة robots.txt.

بعد التسجيل، يجب عليك إنشاء مشروع (أي موقع لتتبعه). سيوفر لك هذا رمز وصول مطلوب لوظائف robots.txt وتحليلات جانب الخادم.

عند تمكين وظيفة robots.txt، يستغرق الأمر بعض الوقت قبل تحديثها. قم بزيارة https://yoursite/robots.txt لمعرفة ما إذا كانت تعمل. يجب أن تحتوي على تعليق في الأعلى

# Augmented by Dark Visitors on 2025-05-07T12:46:00+00:00 with 28 agents

عند تمكين تحليلات جانب الخادم، يمكنك اختبار ما إذا كانت تعمل عن طريق طلب زيارة اختبار من إعدادات مشروع Dark Visitor. قد يستغرق الأمر بضع ثوانٍ. يجب أن ترى النتيجة في صفحة Realtime على Dark Visitors.

الإعدادات

الاسم الوصف
darkvisitors enabled علامة عامة لتمكين المكون الإضافي بأكمله
darkvisitors access token رمز الوصول السري المطلوب لملف robots.txt وتحليلات جانب الخادم للتواصل مع Dark Visitors. ستجد هذا في مشروع Dark Visitor الخاص بك ضمن الإعدادات.
darkvisitors robots txt enabled عند تمكينه، سيتم تعزيز ملف robots.txt الخاص بـ Discourse بوكلاء إضافيين
darkvisitors robots txt agents نوع الوكلاء المراد إضافتهم إلى ملف robots.txt.
darkvisitors robots txt path المسار لرفض وصول الوكلاء إليه. من الأفضل على الأرجح تركه على / لرفض الوصول إلى الموقع بأكمله.
darkvisitors server analytics يُمكّن تحليلات جانب الخادم. أوصي بتمكينه فقط للمستخدمين المجهولين.
darkvisitors server analytics include طلبات إضافية للتتبع. يمكنك أيضًا تتبع الطلبات إلى الملفات التي تم تحميلها، أو حتى طلبات 404 Not Found.
darkvisitors server analytics ignore سلاسل فرعية في وكلاء المستخدم لتجاهلها (حساسة لحالة الأحرف). إذا كنت تستخدم مراقبة وقت التشغيل، أقترح بشدة تضمين وكيل المستخدم التعريفي الخاص بها في هذه القائمة.
darkvisitors client analytics تمكين تحليلات جانب العميل. سيعطيك هذا أيضًا رؤى حول المستخدمين العاديين الذين يزورون منتداك أثناء القدوم من خدمة دردشة ذكاء اصطناعي.
darkvisitors client analytics project key بالنسبة لتحليلات جانب العميل، يجب عليك تكوين مفتاح المشروع (العام). يمكنك العثور عليه في إعدادات مشروع Dark Visitors الخاص بك في قسم JavaScript Tag، وهو الرمز بعد project_key=
5 إعجابات

شكراً لك يا elmuerte! لقد قمت بإعداده وهو يعمل بشكل رائع.

أرى أنه في إعدادات المكون الإضافي، أنواع الوكلاء التي يمكن تحديدها للاستبعاد عبر robots.txt هي:

  • AI Data Scraper [محدد افتراضيًا]
  • Undocumented AI Agent [محدد افتراضيًا]
  • AI Agent
  • AI Assistant
  • AI Search Crawler

ولكن القائمة الكاملة لأنواع وكلاء Dark Visitors هي:
(غامق = إضافي)

الزواحف وكاشطات…

  • AI Assistant
  • AI Data Scraper
  • AI Search Crawler
  • Archiver
  • Developer Helper
  • Fetcher
  • Intelligence Gatherer
  • Scraper
  • Search Engine Crawler
  • Security Scanner
  • SEO Crawler
  • Uncategorized Agent
  • Undocumented AI Agent

وكلاء الذكاء الاصطناعي…

  • AI Agent
  • Headless Agent

ليست كل هذه الأنواع من الوكلاء أشياء قد يرغب المرء في حظرها، ولكنني أود تضمين بعضها مثل Scraper، و AI Data Scraper، و SEO Crawler…

هل هذه الأنواع الإضافية من الوكلاء أحدث من المكون الإضافي الخاص بك؟ هل يمكن إضافتها إلى قائمة الخيارات الحالية في settings.yml؟

باستثناء robots.txt هو مجرد طلب. البوت يتبعه أو لا. جدار الحماية هو الطريقة الوحيدة لإيقاف تلك.

نعم، أفهم ذلك – ولكن بما أن Dark Visitors يعمل فقط مع robots.txt، أود جعله يعمل بأفضل شكل ممكن.

(أنا أقرأ حاليًا بعض المنشورات التي تقترح فيها حظرًا حقيقيًا باستخدام وكيل عكسي Nginx، ولكني لست متأكدًا مما إذا كنت بحاجة إلى الذهاب إلى هذا الحد بعد.)

هذا صعب بعض الشيء. ولكن يجب أن يعمل Dark Visitor مع قائمة الحظر الخاصة بـ Discourse ليكون مفيدًا على مستوى ما. بالتأكيد، مع ذلك لا تحتاج إلى إضافة OpenAI يدويًا أو غير ذلك مما يتبع robots.txt.

لقد اتصلت بـ Dark Visitors بشأن هذا في 3 مايو من هذا العام، وكان ردهم “ليس في الوقت الحالي”. لكنني أرى أن الوثائق الحالية تسرد المزيد من الأنواع الآن.

في الوقت الحالي، تدعم واجهة برمجة تطبيقات Dark Visitors الأنواع التالية:

لقد تأكدت من أنه يمكن توسيع الإعداد في Discourse بإضافة أنواع وكلاء إضافية بمجرد إضافتها.

بعد إضافة النوع الجديد وحفظ الإعداد، يجب تحديث ملف robots.txt على الفور بجميع الوكلاء الجدد.

إعجاب واحد (1)

يا إلهي، لقد فاتني تمامًا حقل “بحث أو إنشاء”. السمة الخاصة بي لديها تباين منخفض جدًا هناك وقد أفلتت من عيني. شكراً للتوضيح!