استضافة ذاتية لمشاعر وعواطف DiscourseAI

توثيق الاستضافة الذاتية
,
1

يحتوي إضافة Discourse AI على دعم لطلب تصنيف المشاعر/التحليل العاطفي للمشاركات الجديدة، والذي يُخزن في قاعدة البيانات ويمكن استخدامه في التقارير ولوحات تحكم المشرفين.

تدعم إضافة Discourse AI نوعين من التصنيف، وكل منهما يتطلب نموذجًا خاصًا به:

  • التحليل العاطفي (Sentiment) — يصنف المشاركات إلى إيجابية أو سلبية أو محايدة (باستخدام cardiffnlp/twitter-roberta-base-sentiment-latest)
  • التصنيف العاطفي (Emotion) — يصنف المشاركات عبر 28 تصنيفًا عاطفيًا مثل الفرح، الغضب، المفاجأة، إلخ. (باستخدام SamLowe/roberta-base-go_emotions)

للحصول على بيانات التحليل العاطفي والتصنيف العاطفي في لوحات تحكمك، يجب تشغيل كلا النموذجين.

التشغيل باستخدام HuggingFace TEI

توفر HuggingFace صورة حاوية رائعة تتيح لك البدء بسرعة.

نموذج التحليل العاطفي (Sentiment)

mkdir -p /opt/tei-sentiment-cache
docker run --rm --gpus all --shm-size 1g -p 8081:80 \
  -v /opt/tei-sentiment-cache:/data \
  ghcr.io/huggingface/text-embeddings-inference:latest \
  --model-id cardiffnlp/twitter-roberta-base-sentiment-latest \
  --revision refs/pr/30

يجب أن يتيح لك هذا تشغيل نسخة محلية من cardiffnlp/twitter-roberta-base-sentiment-latest، وهو نموذج مفتوح المصدر يمكنه تصنيف المشاركات إلى إيجابية/سلبية/محايدة.

يمكنك التحقق من عمله باستخدام الأمر التالي:

curl http://localhost:8081/ \
    -X POST \
    -H 'Content-Type: application/json' \
    -d "{ \"inputs\": \"I am happy\" }"

والذي يجب أن يُرجع مصفوفة من قيم الثقة لكل تصنيف في حالة التشغيل الطبيعي.

نموذج التصنيف العاطفي (Emotion)

للحصول أيضًا على التصنيف العاطفي، شغّل حاوية ثانية باستخدام نموذج التصنيف العاطفي:

mkdir -p /opt/tei-emotion-cache
docker run --rm --gpus all --shm-size 1g -p 8082:80 \
  -v /opt/tei-emotion-cache:/data \
  ghcr.io/huggingface/text-embeddings-inference:latest \
  --model-id SamLowe/roberta-base-go_emotions

النماذج المدعومة

جعل النموذج متاحًا لموقع Discourse الخاص بك

في معظم الأوقات، ستقوم بتشغيل هذا النموذج على خادم مخصص نظرًا لتسريع وحدة معالجة الرسومات (GPU). عند القيام بذلك، أوصي بتشغيل وكيل عكسي (reverse proxy)، وإنهاء بروتوكول TLS، وتأمين نقطة النهاية بحيث يمكن الاتصال بها فقط من قبل موقع Discourse الخاص بك.

إعداد إضافة Discourse AI

تتضمن إضافة Discourse AI إعدادات موقع لتكوين خادم الاستدلال للنماذج مفتوحة المصدر. يجب توجيهه إلى خادمك باستخدام إعداد ai_sentiment_model_configs.

يقبل هذا الإعداد مصفوفة JSON من تكوينات النماذج. يتطلب كل إدخال ما يلي:

الحقل الوصف
model_name معرف النموذج على HuggingFace (مثل cardiffnlp/twitter-roberta-base-sentiment-latest)
endpoint عنوان URL لنسخة TEI الخاصة بك (مثل https://your-server:8081)
api_key مفتاح API لنقطة النهاية (يمكن تركه فارغًا إذا لم يكن مطلوبًا)

للحصول على لوحات تحكم لكل من التحليل العاطفي والتصنيف العاطفي، أضف إدخالًا لكل نموذج تقوم بتشغيله. على سبيل المثال، إذا كنت تشغل كلا النموذجين محليًا:

  • الإدخال 1: model_name cardiffnlp/twitter-roberta-base-sentiment-latest، endpoint https://your-server:8081
  • الإدخال 2: model_name SamLowe/roberta-base-go_emotions، endpoint https://your-server:8082

بعد ذلك، قم بتفعيل التصنيف عن طريق التبديل في ai_sentiment_enabled.}

3 إعجابات
Discourse AI - Sentiment
Discourse AI - Self-Hosted Guide
Sentiment table is not displaying
Introducing Discourse AI Sentiment Analysis: New Admin Report Available
Discourse AI - Sentiment
AI sentiment and emotion analysis reports
Problems setting up Sentiment
2

هل هناك خطط لدعم نماذج أخرى بلغات غير اللغة الإنجليزية؟

إعجاب واحد (1)
4

@Falco إذا قرر أحد تشغيل هذا على نفس الخادم الذي يشغل discourse (على سبيل المثال، لدينا نشر صغير جدًا ببضع آلاف من المشاركات)، هل يمكنك تحديث التعليمات لتوضح

  1. كيف يمكن ل discourse الاندماج مع نسخة محلية من صورة الحاوية HuggingFace TEI
  2. اقتراحات حول مقدار الذاكرة العشوائية/القرص الإضافي المطلوب لتشغيل ما سبق (على سبيل المثال، إذا كانت النسخة الأساسية من Discourse تعمل بذاكرة RAM 2GB و20GB من القرص)
5

لقد قمت بإعداد مثيل Discourse جديد مستضاف ذاتيًا وأحاول إعداد المشاعر. هذه هي إعدادات ai_sentiment_model_configs الخاصة بي -

المفتاح القيمة
اسم النموذج cardiffnlp/twitter-roberta-base-sentiment-latest
نقطة النهاية https://my_own_instance
مفتاح API [فارغ]

وهي تعمل، نوعًا ما، أحصل على الرسم البياني الشريطي للمشاعر.

image
image2118×1155 203 KB

ومع ذلك، فإن جدول المشاعر فارغ. تبدو هذه الوثيقة غير مكتملة، أو صياغتها سيئة بالنسبة لي لفهم ما يجب القيام به.

هل أقوم بتشغيل حاوية Docker أخرى، بمعرف نموذج مختلف (roberta-base-go_emotions؟)، أو شيء آخر؟ ماذا أحتاج أن أفعل لملء جدول المشاعر هذا؟

أفضل استضافة هذه الخدمات ذاتيًا إذا أمكن. شكرًا مقدمًا إذا كان بإمكان أي شخص توجيهي في الاتجاه الصحيح.

6

بالنسبة للمشاعر، تحتاج إلى تشغيل

أيضًا.

3 إعجابات
7

شكراً لك. لذا، سأقوم بتشغيل حاوية دوكر ثانية مع بعض التعديلات، كالتالي:

mkidr -p /opt/tei-cache2
docker run --detach --rm --gpus all --shm-size 1g -p 8082:80 \
  -v /opt/tei-cache2:/data \
  ghcr.io/huggingface/text-embeddings-inference:latest \
  --model-id SamLowe/roberta-base-go_emotions

وإضافة إدخال جديد في ai_sentiment_model_configs وكل شيء يعمل الآن. شكراً لك. :slight_smile:

إعجاب واحد (1)
8

اصطدمتُ بوجهي بجدار من الطوب من عدم معرفتي بما أفعله لمحاولة تشغيل هذا على مثيل EC2 بدون وحدة معالجة رسومات. على الأقل إلى أقصى حدود قدراتي وفهمي المحدود للغاية هنا، فإن محاولة القيام بذلك مع مثيل يعتمد على وحدة المعالجة المركزية فقط يعني المزيد من أعمال التكوين التي لا يمكنني فهمها. إصدارات cpu من ghcr.io/huggingface/text-embeddings-inference ترفض تحميل أي من نموذجي الاستماع؛ يخبرني كل من Claude و GPT5 أنني بحاجة إلى تحويلهما إلى نماذج ONNX باستخدام مجموعة من أدوات بايثون، وهذا هو المكان الذي انسحبت فيه.

(من الممكن جدًا أيضًا أنني غبي وأفتقد خطوة واضحة!)

9

أحد الأشياء التي نخطط لها هو السماح لنماذج اللغة الكبيرة (LLMs) بالعمل كتحليل للمشاعر

بهذه الطريقة يمكنك توصيل نموذج رخيص مثل Gemini Flash 2.5 (أو حتى nano) واستخدامه لتحليل المشاعر.

6 إعجابات
10

نحن نحاول استخدام هذه الميزة مع Azure AI Language (من مثيل Discourse المستضاف ذاتيًا) - حيث أننا نستخدم بالفعل اشتراك Azure الخاص بنا لدمج GPT-4.5 مع Discourse (للتلخيص ووظائف روبوت الدردشة):

  • ولكننا لا نحصل على أي بيانات في لوحة معلومات المشاعر، ويمكننا رؤية هذه الأخطاء في السجلات:

Discourse AI: Errors during bulk classification: Failed to classify 208 posts (example ids: 2256, 909, 2270, 2260, 2797) : JSON::ParserError : An empty string is not a valid JSON string.

يُظهر تتبع المكدس أن Discourse قد يحاول استخدام HuggingFace - هل هذه هي النماذج الوحيدة المدعومة في الوقت الحالي؟

شكرًا،

N

11

نعم، لدينا تطبيق محدد جدًا، ونفكر في كيفية جعله أكثر عمومية

أنا متفائل بشأن مجرد السماح لنماذج اللغة الكبيرة بإرجاع مخرجات منظمة للمشاعر، لأن ذلك يفتح الأبواب أمام العديد من الخيارات هناك وأشعر أنه كاتجاه، يتم استبدال واجهات برمجة التطبيقات “المحددة للغاية” بواجهات برمجة التطبيقات “العامة للغاية” التي توفرها نماذج اللغة الكبيرة.

3 إعجابات
12

هل هناك طريقة مباشرة لتشغيل هذا على ووردبريس مستضاف ذاتيًا دون إعداد مثيل خاص بك لتصنيف المشاعر؟

13

شكراً سام - سيكون ذلك رائعاً. في غضون ذلك، سنتحقق من تشغيل أحد نماذج HuggingFace المدعومة على جهاز Azure افتراضي…

14

أحاول إعداد نظام تحليل المشاعر المضيف ذاتيًا، ولكن عند محاولة تشغيل صورة Docker، أواجه أخطاء:

0: خطأ في الطلب: خطأ في حالة HTTP من جانب العميل (404 غير موجود) لعنوان URL (https://huggingface.co/cardiffnlp/twitter-roberta-base-sentiment-latest/resolve/main/tokenizer.json)
1: خطأ في حالة HTTP من جانب العميل (404 غير موجود) لعنوان URL (https://huggingface.co/cardiffnlp/twitter-roberta-base-sentiment-latest/resolve/main/tokenizer.json)

أستخدم الأمر التالي: docker run --rm --shm-size 1g -p 8083:80 -v /opt/tei-sentiment-cache:/data ghcr.io/huggingface/text-embeddings-inference:cpu-1.9 --model-id cardiffnlp/twitter-roberta-base-sentiment-latest

هل هذا غير مدعوم دون دعم GPU، أم أن هناك تغييرًا ما في الإعداد؟

15

أوه، يبدو أنهم لم يدمجوا طلب السحب الخاص بي للنموذج بعد، لذا ستحتاج إلى الإشارة إلى فرعي مباشرة. لقد قمت بتحديث أمر Docker لنموذج المشاعر المذكور أعلاه، جربه مع السطر الإضافي للإشارة إلى الفرع.

إعجابَين (2)
16

شكرًا، يبدو أن ذلك نجح!

إعجاب واحد (1)