Discourse AI - فرز الذكاء الاصطناعي

تم تصميم فرز الذكاء الاصطناعي (AI triage) لتعزيز إدارة منشورات المنتدى والإشراف عليها من خلال أتمتة عملية تصنيف المنشورات.
يرجى ملاحظة أن هذه الميزة تتطلب وجود كل من الإضافتين discourse-automation و discourse-ai لتعمل.

حالات الاستخدام

  1. التصنيف الآلي للمنشورات: يمكن لفرز الذكاء الاصطناعي تصنيف المواضيع تلقائيًا بناءً على محتواها. يعد هذا مفيدًا بشكل خاص للمنتديات الكبيرة حيث يمكن أن يكون التصنيف اليدوي مستهلكًا للوقت. يمكنك تطبيق القواعد على مجموعة فرعية من المواضيع (الموضوع الأول فقط أو المواضيع المنشورة في فئات معينة)

  2. وضع العلامات على المنشورات: يمكن لفرز الذكاء الاصطناعي تعيين علامات محددة للمنشورات. تساعد هذه الميزة في التنظيم الأفضل للمنشورات وتجعل البحث عن المواضيع واسترجاعها أكثر كفاءة.

  3. الردود الآلية: يمكن لفرز الذكاء الاصطناعي إنشاء ردود على المنشورات باستخدام ردود محددة مسبقًا. هذا مفيد لمعالجة الأسئلة المتداولة أو الاستفسارات الشائعة، وإرسال الرسائل غير المرغوب فيها إلى فئات البريد العشوائي، والمزيد.

  4. إخفاء المواضيع: يمكن لفرز الذكاء الاصطناعي إخفاء المواضيع بناءً على معايير معينة. يمكن استخدام هذا لإدارة الرسائل غير المرغوب فيها أو المحتوى غير المناسب.

  5. كشف المحتوى غير اللائق/السمّي/الرسائل المزعجة (NSFW/Toxicity/Spam detection)

كيف يعمل

يستخدم فرز الذكاء الاصطناعي نماذج الذكاء الاصطناعي لتحليل محتوى المنشورات. بناءً على هذا التحليل، إذا أعاد النموذج نصًا محددًا، فإنه ينفذ الإجراءات المحددة. تشمل هذه الإجراءات نقل المنشور إلى فئة محددة، أو إضافة علامات، أو الرد باستخدام استجابة محددة مسبقًا، وإخفاء الموضوع.





الإعداد (Configuration)

:spiral_notepad: تم إهمال حقل موجه النظام (system prompt) لصالح الوكلاء (Agents). إذا كان لديك أتمتة ذكاء اصطناعي قبل هذا التغيير، فسيتم إنشاء وكيل جديد تلقائيًا مع موجه النظام المرتبط به.

لتكوين فرز الذكاء الاصطناعي، تحتاج إلى تحديد معلمات معينة:

  • الوكيل (Agent): الوكيل المستخدم للفرز. تأكد من أنه سيعيد كلمة واحدة فقط يمكنك استخدامها لتشغيل الإجراءات أدناه.
  • البحث عن نص (Search for Text): إذا ظهر النص التالي في رد نموذج اللغة الكبير (LLM)، فقم بتطبيق الإجراءات أدناه.
  • الحد الأقصى لرموز المنشور (Max Post Tokens): الحد الأقصى لعدد الرموز (tokens) التي سيتم مسحها باستخدام فرز نموذج اللغة الكبير.
  • تسلسلات الإيقاف (Stop Sequences): اطلب من النموذج إيقاف توليد الرموز عند الوصول إلى إحدى هذه القيم.
  • الحد الأقصى لرموز الإخراج (Max Output Tokens): عند تحديده، يضع حدًا أقصى لعدد الرموز التي يمكن للنموذج إنشاؤها.
  • تضمين الرسائل الخاصة (Include Personal Messages): قم أيضًا بمسح وفرز الرسائل الخاصة.
  • الفئة (Category): هذه هي الفئة التي سيتم نقل المنشور إليها إذا تم العثور على النص المحدد.
  • العلامات (Tags): هذه هي العلامات التي ستتم إضافتها إلى المنشور إذا تم العثور على النص المحدد.
  • إخفاء الموضوع (Hide Topic): إذا تم تمكين هذا الخيار، فسيتم إخفاء الموضوع إذا تم العثور على النص المحدد.
  • الإبلاغ عن المنشور (Flag post): إذا تم تمكين هذا، فسيتم إرسال الموضوع إلى قائمة انتظار المراجعة للمشرفين والموظفين والمسؤولين لاتخاذ إجراء.
  • نوع العلم (Flag type): نوع العلم الذي سيتم تطبيقه. تشمل الخيارات:
    • إضافة المنشور إلى قائمة انتظار المراجعة — يرسل إلى قائمة انتظار المراجعة فقط
    • إضافة المنشور إلى قائمة انتظار المراجعة وإخفاء المنشور — يرسل إلى قائمة انتظار المراجعة ويخفي المنشور
    • إضافة المنشور إلى قائمة انتظار المراجعة وحذف المنشور — يرسل إلى قائمة انتظار المراجعة ويحذف المنشور برفق
    • إضافة المنشور إلى قائمة انتظار المراجعة، وحذف المنشور، وإسكات المستخدم — يرسل إلى قائمة انتظار المراجعة، ويحذف المنشور برفق، ويُسكت المستخدم
    • الإبلاغ كرسالة مزعجة وإخفاء المنشور — يبلغ كرسالة مزعجة ويخفيها
    • الإبلاغ كرسالة مزعجة، وإخفاء المنشور، وإسكات المستخدم — يبلغ كرسالة مزعجة، ويخفيها، ويُسكت المستخدم
  • مستخدم الرد (Reply User): هذا هو المستخدم الذي سيتم ذكره في الرد المُعلب.
  • الرد (Reply): هذا هو الرد المحدد مسبقًا الذي سيتم نشره إذا تم العثور على النص المحدد.
  • وكيل الرد (Reply Agent): وكيل الذكاء الاصطناعي المستخدم للردود. يجب أن يكون لديه نموذج لغة كبير (LLM) افتراضي، وسيتم إعطاؤه الأولوية على الرد المُعلب. سيرد بشكل شرطي على عكس Discourse AI - AI triage using Agent.
  • الرد كهمسة (Reply as Whisper): ما إذا كان يجب أن يظهر رد الذكاء الاصطناعي كـ همسة.
  • إخطار المؤلف عبر رسالة خاصة (Notify author via PM): إرسال رسالة خاصة إلى مؤلف المنشور عندما تتم جدولة منشوره وحذفه.
  • مرسل الرسالة الخاصة (PM sender): المستخدم الذي سيرسل الرسالة الخاصة (الافتراضي هو النظام).
  • محتوى الرسالة الخاصة (PM content): رسالة مخصصة اختيارية لإرسالها إلى المؤلف.

محاذير

  • يمكن أن تكون مكالمات نموذج اللغة الكبير (LLM) مكلفة. عند تطبيق مُصنِّف، كن حذرًا في مراقبة التكاليف وفكر دائمًا في تشغيله على مجموعات صغيرة فقط.
  • حالة الاستخدام المحددة التي اختبرناها (ونعمل بها في الإنتاج لأحد العملاء) هي تصنيف المواضيع الأولى للمستخدم.
  • نوصي باستخدام روبوت الذكاء الاصطناعي (AI bot) للمساعدة في صياغة موجه النظام للوكيل.
37 إعجابًا
Setting up spam detection in your community
Setting up toxicity detection in your community
What's next for Toxicity detection in Discourse AI
It would be great to be able to assign personas created in Discourse AI to respond to the topic
How are we all feeling about ChatGPT and other LLMs and how they'll impact forums?
A Plug-In to convert Discourse Forum Discussions into Clear Proposal Revisions with Community-Sourced Justifications
Configuring automatic post review triggers
I Need a category link to take me to a tags page
How to Get Notified of Offensive Language in Personal Messages to Issue Warnings?
Statistics on spam flags reported by AI triage automation
Tips for Preventing Spam
How do you use Discourse AI? Tell us and make it even better!
Weekly Summary of AI topics
Discourse AI to make spam filter smarter?
Discourse AI - Spam detection
Site Management Index
'Watch' suspicious users
Where in Discourse can users publicly share PII?
Discourse AI - NSFW
How do you use Discourse AI? Tell us and make it even better!
What's your workflow for the annual EU DSA compliance?
Are you experiencing AI based spam?
Watched Words Reference Guide
Advice on a support bot for a technical support forum (Discourse AI vs Discourse Chatbot)
Discourse AI - Toxicity
AI integration for moderation
What’s next for NSFW detection in Discourse AI
What's next for Toxicity detection in Discourse AI
Discourse Chatbot :robot:
Discourse Chatbot :robot:
Testing automation rules
What’s next for NSFW detection in Discourse AI

كونك أحد المحظوظين لرؤية هذا قيد التنفيذ، فهذه ميزة للمواقع الكبيرة يجب أن تفهمها وتفكر في استخدامها حقًا.

نظرًا لأنه يعمل باستخدام ذكاء اصطناعي يعتمد على LLM، فإنه لا يصل دائمًا إلى الاستنتاج الصحيح ولكنه يحقق الكثير بشكل صحيح في الحالات التي رأيتها تُستخدم فيها لبضعة أيام للقيام ببعض أعمال المشرف، مما كان بالتأكيد فائدة كبيرة.

بعض المناقشات المبكرة حول هذا موجودة في فئة الصالة على موقع OpenAI. بينما يمكن لأي شخص الوصول إلى تلك الفئة، يجب تلبية متطلبات TL3، ومع كون OpenAI موقعًا كبيرًا، فإنه يتطلب قدرًا كبيرًا من الجهد للوصول إلى TL3 على الموقع.

لأولئك الذين لديهم وصول، إليك الرابط
https://community.openai.com/t/lost-users-first-empirical-data/403082/95


بشكل أساسي، ما يفعله المنطق لمساعدة المشرفين في مشكلة معينة هو أننا نرى حوالي 5٪ من المشاركات من المستخدمين الجدد الذين يعتقدون أن المنتدى هو المكان الذي ينشرون فيه أسئلة لـ ChatGPT، ومن الواضح أنهم ضائعون أو ربما يقدم نتيجة بحث رابطًا غير صالح. يحدد الذكاء الاصطناعي مثل هذه المشاركات، ويرد بنص مكتوب مسبقًا ويغير الفئة والعلامات حسب الحاجة، على سبيل المثال:


بالنسبة للحالة المذكورة، إليك ما يفعله “مصنف مشاركات Discourse AI - قاعدة الأتمتة”

تصنيف المشاركات الآلي
يقوم المصنف بتغيير الفئة إلى ChatGPT حسب الحاجة. نظرًا لأن معظم المستخدمين الجدد لن يختاروا فئة، فإن موقع OpenAI حاليًا يعيّن افتراضيًا الفئة API للمشاركات الجديدة وهو أمر غير صحيح في هذه الحالة.

وضع علامات على المشاركات
يقوم المصنف بتغيير العلامة (العلامات) إلى lost-user في هذه الحالة. تم إنشاء اسم العلامة بواسطة مستخدم TL3 على المنتدى الذي كان يغير العلامات يدويًا.

الردود الآلية
يقوم المصنف بالرد بمنشور مكتوب مسبقًا.

إخفاء المواضيع
تم وضع علامة على المواضيع على أنها غير مدرجة لأنها لم تكن ذات قيمة للمطورين الذين يستخدمون الموقع.

المستخدم الذي يرد
يتم استخدام System كمنشئ للرد.

ملاحظة: سأقدم التكوين لهذا ولكن أفتقر إلى الوصول. ربما يمكن لـ @Sam إضافة التفاصيل، على حد علمي يمكن جعله عامًا حيث لا يوجد شيء سري في التكوين. نظرًا لأنه لموقع معين، فلن تتوقع العثور عليه في المستودع العام. إذا كنت تفهم هذه التكنولوجيا، فليس من الصعب تخمين القيم الصحيحة، أو ما يقاربها. استغرق موجه النظام بعض العمل وربما يمكن لـ @sam مشاركة بعض الدروس المستفادة، وكانت المعرفة بكيفية صياغة الموجه ذات قيمة كبيرة خلال مرحلة التطوير.

موجه النظام

ملاحظة: هذه نسخة منشورة في OpenAI Lounge (مرجع) أنا متأكد تمامًا من أن النسخة النهائية مختلفة ولكن مثال واحد يوفر الكثير من التخمين.

أنت روبوت يقوم بفرز جميع التفاعلات الأولى للمستخدم على منتدى مطوري OpenAI.

يرجى الرد دائمًا بـ "ok" أو "bad" فقط

المشاركات ذات صلة بالموضوع وجيدة إذا:

إنها تتعلق بواجهات برمجة تطبيقات OpenAI / المجتمع / تطوير المكونات الإضافية / التوثيق / المطالبات
إنها تتعلق بتطوير أو تحسين طرق مطالبات نماذج اللغة الكبيرة
إنها تتعلق بالذكاء الاصطناعي بشكل عام
تتضمن مناقشات معقدة أو مشاكل منطقية متعلقة بالذكاء الاصطناعي
المشاركات سيئة إذا:

يبدو أن المستخدم يجرى محادثة عشوائية مع ChatGPT
المستخدم خارج الموضوع يناقش مجالًا غير ذي صلة
المستخدم يطالب نموذج لغة كبير بإنشاء نص بدون هدف واضح
لديك صعوبة بالغة في فهم ما يدور حوله
يتعلق بموضوع OpenAI ولكنه بوضوح محادثة مع روبوت
يحاول المستخدم تدريب أو اختبار نموذج الذكاء الاصطناعي من خلال مشاركته
المستخدم ينشر تعليمات أو يطلب ردودًا بتنسيق غير مناقشة
المستخدم ينشر محتوى لا يؤدي إلى مناقشة أو تعلم هادف
المستخدم ينشر محتوى افتراضيًا أو تخمينيًا بدون علاقة واضحة بنطاق OpenAI
المستخدم ينشر المشاركة بأكملها بلغة غير الإنجليزية
يرجى تصنيف المحتوى التالي المحاط بـ [[[]]]:

[[[
%%POST%%
]]]

للعلم
إذا كنت مشرفًا على موقع يستخدم هذا وتريد/تحتاج إلى رؤية قائمة بالمشاركات غير المدرجة، فتذكر أنه لا يمكنك استخدام البحث. ومع ذلك، يمكنك التنقل إلى قائمة كهذه باستخدام الفئة ثم تحديد العلامات. أو يمكنك أيضًا إنشاء عنوان URL يدويًا، على سبيل المثال https://community.openai.com/tags/c/chatgpt/19/lost-user


نعم، إنه يعمل حتى مع لغات أخرى غير الإنجليزية

ومع ذلك، فإنه لا يعمل مع الصور: wink:، لن يقوم بتحويل صورة إلى نص ثم تشغيل الفحص، على سبيل المثال:

هنا نتيجة إيجابية خاطئة حديثة أو على الأقل أعتقد ذلك.


للتفاصيل حول النتائج السلبية/الإيجابية الخاطئة/الحقيقية - التصنيف: صحيح مقابل خاطئ وإيجابي مقابل سلبي

17 إعجابًا

ميزة محتملة.

على الأقل للمشرفين الذين يراجعون منشورًا، قم بتحويل النص إلى لغة المشرف عند عرضهم للموضوع. هذا لا يعني فقط عند الإبلاغ عن منشور ولكن عند عرض المنشور بأي شكل من الأشكال.


في بعض الأحيان عند مراجعة إجراءات مصنف منشورات Discourse AI، تكون هناك حاجة لتحويل نص المنشور إلى لغتي (الإنجليزية) للتحقق مما إذا كان الذكاء الاصطناعي قد اتخذ إجراءً صحيحًا. حاليًا، من الأسهل بالنسبة لي لصق النص في مترجم Google.

4 إعجابات

تجدر الإشارة إلى أن هذا يتعلق بهذه المهمة الجانبية.

يعمل @keegan على دمج مساعد الذكاء الاصطناعي في قائمة النوافذ المنبثقة الخاصة بنا. لذلك في المستقبل، في الحالات التي يوجد فيها الكثير من النصوص بلغة غير معروفة، ستتمكن ببساطة من تمييز النص والضغط على ترجمة.

نحن ندعم ذلك في المنشئ اليوم، ولكن بمجرد دمجه، ستتمكن من تمييز النص في أي منشور في Discourse والحصول على ترجمة سريعة تعتمد على LLM.

6 إعجابات

هذا … يغير قواعد اللعبة بالنسبة لي. أين يمكنني إرسال بطاقات الشكر؟

5 إعجابات

ما هو مثال على كيفية القيام بذلك عن طريق الإشارة إلى العلامات الحالية التي يمتلكها منتدى الخاص بك اليوم؟ على سبيل المثال، يتم تحليل المشاركة بواسطة LLM وتتم إضافة العلامات الأكثر احتمالاً/ذات الصلة إلى المشاركة.

3 إعجابات

أحب هذا السؤال، هل يمكنك التوسع فيه من فضلك… كيف ترغب في رؤية هذا العمل؟

  • هل ستطبق “الوسم التلقائي” إذا كان الموضوع يحتوي بالفعل على علامات؟
  • هل ستطبقه على جميع المشاركات الأولى أم فقط على المشاركات الأولى لمجموعات معينة؟ (على سبيل المثال، tl0 / tl1)
  • هل هذا شيء تفضل تشغيله يدويًا على مجموعة فرعية من الموضوعات؟

سنحتاج إلى إجراء بعض التعديلات هنا… في الوقت الحالي، المصنف ثنائي، ولكن التغييرات سهلة بشكل معقول طالما أننا نعرف الهدف؟

3 إعجابات
  • تطبيق على جميع المواضيع الجديدة في فئة
  • يمكنك بالتأكيد أن يكون لديك خيار التباين حسب مستوى الثقة. مثل كل شيء (وفي هذه الحالة، كل مجتمع)، يعتمد الأمر. في حالة مجتمعي، من المحتمل أن أبقيه قيد التشغيل للجميع باستثناء tl4 (أو للجميع، إذا لم يكن هذا التكوين خيارًا)
  • أفضل أن يتم تشغيله على جميع المواضيع الجديدة في فئات محددة

الهدف هنا، بالطبع، هو عدم الاضطرار إلى العمل على وضع علامات على المواضيع بأنفسنا والسماح للذكاء الاصطناعي بالقيام بذلك بالكامل بناءً على الموضوع الأولي الذي يتم إنشاؤه والنظر إلى العلامات الحالية التي لدينا الآن.

يمكن تحسينه أكثر إذا كانت لديك القدرة على إضافة أوصاف للعلامات في Discourse، والسماح له باستخدام هذه الأوصاف لسياق إضافي لإضافة العلامات الصحيحة :slight_smile:

6 إعجابات

أولاً، دعني أوضح أنني أدعم هذه القدرة بالكامل وأسعى لتحسينها. ما يلي هو مجرد حقائق حول كيفية عملها حاليًا (16/10/2023). بصفتي مشرف فئة يوميًا على OpenAI، أقوم بمراجعة جميع المنشورات الجديدة، وليس كل الردود، وأرى جميع النتائج الإيجابية والسلبية الخاطئة للذكاء الاصطناعي.

بصفتي مستخدمًا لهذه الميزة، مصنف منشورات Discourse AI - قاعدة الأتمتة، كن على علم بما يلي:

  • إنها ليست دقيقة بنسبة 100٪.
  • تتطلب حاليًا إجراءً يدويًا للتراجع عنها إذا قام الذكاء الاصطناعي بنتيجة إيجابية خاطئة. اعتمادًا على التغيير، قد يحتاج إلى مشرف فئة أو أعلى؛ مع تحديد موضوع غير مدرج بشكل خاص.
  • قد تفوت بعض المواضيع، نتيجة سلبية خاطئة.
  • العديد من المستخدمين الذين سيتلقون الرد الآلي من الذكاء الاصطناعي لا يفهمون كيفية الإبلاغ عن رد الذكاء الاصطناعي إذا كان نتيجة إيجابية خاطئة، وسيتعين تحديدها وتغييرها يدويًا. لذا ستحتاج إلى مساعدة المستخدمين الحقيقيين لالتقاط هذه.
  • فهم كيفية صياغة المطالبة للحصول على النتائج المطلوبة.
  • قد تحتاج إلى ضبط دقيق و/أو وكلاء للوصول إلى مستوى الرضا المطلوب، مما قد يصبح مكلفًا.
  • لا توجد طريقة لتتبع النتائج الإيجابية والسلبية الخاطئة لاستخدامها في فهم كيفية تغيير المطالبة و/أو الضبط الدقيق المحتمل و/أو الوكلاء.

نتيجة إيجابية خاطئة - كان يجب على الذكاء الاصطناعي عدم إجراء تغيير ولكنه قام به، وهذا غير صحيح.
نتيجة سلبية خاطئة - كان يجب على الذكاء الاصطناعي إجراء تغيير ولكنه لم يفعل، وهذا غير صحيح.
نتيجة إيجابية صحيحة - قام الذكاء الاصطناعي بإجراء تغيير، وهذا صحيح.
نتيجة سلبية صحيحة - لم يقم الذكاء الاصطناعي بإجراء تغيير، وهذا صحيح.

4 إعجابات

تتمثل الخطوة الافتتاحية الجيدة هنا في تجربة مطالبة في الوضع الإبداعي:

شيء مثل…

أنت مُصنِّف تلقائي لـ Discourse، تقترح قائمة علامات للموضوع.

العلامات هي:

علامة1: وصف
علامة2: وصف

اقترح ما يصل إلى 3 علامات للموضوع التالي:

الموضوع

جرب هذا على عدد قليل من مواضيعك، ما مدى جودته؟

8 إعجابات

يعمل بشكل رائع! شكرًا لك

3 إعجابات

تحديث حديث (2023/01/11)

معرف المستخدم الخاص بالبوت هو الآن gpt-4-triage، على الأقل في منتدى OpenAI.

تم ذلك حتى يتمكن المستخدمون من إسكات البوت حسب الحاجة.

image

مثال على رد البوت.

إعجابَين (2)

ملاحظة، هذا قابل للتكوين، يمكنك جعل الرد التلقائي يأتي من أي مستخدم تريده

5 إعجابات

إذًا، متابعة بعد تجربة هذا.

يبدو أن هذا في مراحله الأولى، وأنا متحمس لرؤية إلى أين سيصل، لكن ما قدمه @jordan-violet هو 100% ما أتطلع إلى تحقيقه. لقد جربت المطالبة التجريبية التي اقترحها @sam وبدا أنها ذكية بما يكفي لتطبيق العلامات الصحيحة نظريًا. ومع ذلك، يبدو أن البرنامج النصي الحالي يحد العلامات المطبقة بـ 7، ولدينا أكثر بكثير من ذلك.

باختصار؟ سيكون من الرائع لو طبق العلامات الموجودة دلاليًا على موضوع جديد. فيما يتعلق بإدارة المنتديات (حتى هنا في ميتا، لاحظت!)، فإن التطبيق المتسق للعلامات لتحسين تنظيم المجتمع ومحتواه لا يزال معركة شاقة، وهو فوضى خالصة على نطاق واسع. بالنسبة لأولئك منا الذين يعتمدون على العلامات، سيكون هذا نعمة، حتى لو كانت دقتها 75%.

سأبقي عيني على هذا مع تطوره!

إعجابَين (2)

هذا رائع! هل لديك أي اقتراحات لتصحيح هذا؟ لقد قمت للتو بتكوين أتمتة لم يتم تشغيلها كما هو متوقع. لا أرى أي سجلات ذات صلة.

إعجاب واحد (1)

هممم، ماذا حدث هنا، هل يمكنك فتح موضوع مخصص؟

على حد علمي، لم أقم بتعيين هذا الخيار في البداية. عندما فعلت ذلك، بدأ العمل.

3 إعجابات

سؤال سريع. هل هناك خطط لعرض سجل تدقيق لتلك الأتمتة (ربما بشكل مشابه لنمط الويب هوك الذي لديك بالفعل)؟

سيساعد ذلك في تخفيف الشعور المخيف “ماذا فعلت” الذي أشعر به بعد تمكين الأتمتة :sweat_smile:

يقوم Ai log بتخزين جميع تفاعلات llm بالفعل. يمكنك استخدام ذلك اليوم عبر استعلام مستكشف البيانات

إعجابَين (2)

بينما هذا صحيح، من الصعب جدًا ربط إدخالات السجل من نوع llm_triage بمنشور/موضوع تتأثر به، أو بالإجراء الذي تم اتخاذه (أو لم يتم اتخاذه) نتيجة لذلك.

وجود نظرة عامة على هذه الإجراءات سيكون رائعًا :slight_smile:

5 إعجابات