Self-Hosting von Sentiment und Emotionen für DiscourseAI

Dokumentation Selbst-Hosting
,
1

Das Plugin Discourse AI unterstützt die Anforderung einer Emotions-/Stimmungsklassifizierung neuer Beiträge, die in der Datenbank gespeichert wird und in Berichten und Admin-Dashboards verwendet werden kann.

Discourse AI unterstützt zwei Arten der Klassifizierung, die jeweils ein eigenes Modell erfordern:

  • Stimmung (Sentiment) – Klassifiziert Beiträge als positiv, negativ oder neutral (unter Verwendung von cardiffnlp/twitter-roberta-base-sentiment-latest)
  • Emotion – Klassifiziert Beiträge anhand von 28 Emotions-Labels wie Freude, Wut, Überraschung usw. (unter Verwendung von SamLowe/roberta-base-go_emotions)

Um sowohl Stimmungs- als auch Emotionsdaten in Ihren Dashboards zu erhalten, müssen Sie beide Modelle ausführen.

Ausführung mit HuggingFace TEI

HuggingFace bietet ein hervorragendes Container-Image, mit dem Sie schnell starten können.

Stimmungsmodell

mkdir -p /opt/tei-sentiment-cache
docker run --rm --gpus all --shm-size 1g -p 8081:80 \
  -v /opt/tei-sentiment-cache:/data \
  ghcr.io/huggingface/text-embeddings-inference:latest \
  --model-id cardiffnlp/twitter-roberta-base-sentiment-latest

Dies sollte Sie mit einer lokalen Instanz von cardiffnlp/twitter-roberta-base-sentiment-latest zum Laufen bringen, einem offenen Modell, das Beiträge in positiv/negativ/neutral klassifizieren kann.

Sie können überprüfen, ob es funktioniert mit

curl http://localhost:8081/ \
    -X POST \
    -H 'Content-Type: application/json' \
    -d "{ \"inputs\": \"I am happy\" }"

Was unter normalem Betrieb ein Array von Konfidenzwerten für jedes Label zurückgeben sollte.

Emotionsmodell

Um auch eine Emotionsklassifizierung zu erhalten, führen Sie einen zweiten Container mit dem Emotionsmodell aus:

mkdir -p /opt/tei-emotion-cache
docker run --rm --gpus all --shm-size 1g -p 8082:80 \
  -v /opt/tei-emotion-cache:/data \
  ghcr.io/huggingface/text-embeddings-inference:latest \
  --model-id SamLowe/roberta-base-go_emotions

Unterstützte Modelle

Bereitstellen für Ihre Discourse-Instanz

Meistens werden Sie dies aufgrund der GPU-Beschleunigung auf einem dedizierten Server ausführen. Wenn Sie dies tun, empfehle ich die Verwendung eines Reverse-Proxys, die Durchführung einer TLS-Terminierung und die Absicherung des Endpunkts, sodass er nur von Ihrer Discourse-Instanz verbunden werden kann.

Konfigurieren von Discourse AI

Discourse AI enthält Site-Einstellungen zur Konfiguration des Inferenzservers für Open-Source-Modelle. Sie sollten auf Ihren Server verweisen, indem Sie die Einstellung ai_sentiment_model_configs verwenden.

Diese Einstellung akzeptiert ein JSON-Array von Modellkonfigurationen. Jeder Eintrag erfordert:

Feld Beschreibung
model_name Die HuggingFace-Modell-ID (z. B. cardiffnlp/twitter-roberta-base-sentiment-latest)
endpoint Die URL Ihrer TEI-Instanz (z. B. https://your-server:8081)
api_key API-Schlüssel für den Endpunkt (kann leer gelassen werden, wenn nicht erforderlich)

Um sowohl Sentiment- als auch Emotions-Dashboards zu erhalten, fügen Sie einen Eintrag für jedes ausgeführte Modell hinzu. Wenn Sie beispielsweise beide Modelle lokal ausführen:

  • Eintrag 1: model_name cardiffnlp/twitter-roberta-base-sentiment-latest, endpoint https://your-server:8081
  • Eintrag 2: model_name SamLowe/roberta-base-go_emotions, endpoint https://your-server:8082

Danach aktivieren Sie die Klassifizierung, indem Sie ai_sentiment_enabled umschalten.

3 „Gefällt mir“
Discourse AI - Sentiment
Sentiment table is not displaying
Discourse AI - Self-Hosted Guide
Introducing Discourse AI Sentiment Analysis: New Admin Report Available
Problems setting up Sentiment
AI sentiment and emotion analysis reports
Discourse AI - Sentiment
2

Gibt es Pläne, andere Modelle in anderen Sprachen als Englisch zu unterstützen?

1 „Gefällt mir“
4

[Zitat=“Falco, Beitrag:1, Thema:334451”]
Die meiste Zeit wird dies auf einem dedizierten Server mit GPU-Beschleunigung laufen
[/Zitat]

@Falco, wenn jemand beschließt, dies auf demselben Server auszuführen, auf dem Discourse läuft (z.B. wir haben eine sehr kleine Installation mit einigen Tausend Beiträgen), könntest du die Anweisungen aktualisieren, um aufzuzeigen:

  1. Wie kann Discourse mit einer lokalen Instanz des HuggingFace TEI-Container-Images integriert werden
  2. Vorschläge, wie viel zusätzlicher RAM/Plattenplatz benötigt wird, um das oben genannte auszuführen (z.B. wenn das Basis-Discourse auf 2 GB RAM mit 20 GB Festplatte läuft)
5

Ich habe eine neue selbst gehostete Discourse-Instanz eingerichtet und versuche, Sentiments einzurichten. Hier sind meine ai_sentiment_model_configs –

Schlüssel Wert
model name cardiffnlp/twitter-roberta-base-sentiment-latest
endpoint https://my_own_instance
api_key [leer]

Und es funktioniert, irgendwie, ich bekomme das Sentiment-Balkendiagramm.

image
image2118×1155 203 KB

Die Emotionstabelle ist jedoch leer. Dieses Dokument sieht unvollständig oder schlecht formuliert aus, als dass ich begreifen könnte, was getan werden muss.

Soll ich einen weiteren Docker-Container mit einer anderen Modell-ID (roberta-base-go_emotions?) ausführen oder etwas anderes? Was muss ich tun, damit diese Emotionstabelle gefüllt wird?

Ich würde diese Dienste, wenn möglich, gerne selbst hosten. Vielen Dank im Voraus, wenn mir jemand in die richtige Richtung weisen kann.

6

Für Emotionen müssen Sie auch die

ausführen.

3 „Gefällt mir“
7

Danke. Ich starte also einfach einen zweiten Docker-Container mit einigen Anpassungen, so:\n\nmkdir -p /opt/tei-cache2\ndocker run --detach --rm --gpus all --shm-size 1g -p 8082:80 \\\n -v /opt/tei-cache2:/data \\\n ghcr.io/huggingface/text-embeddings-inference:latest \\\n --model-id SamLowe/roberta-base-go_emotions\n\nund füge einen neuen Eintrag in ai_sentiment_model_configs hinzu, und jetzt funktioniert alles. Danke. :slight_smile:

1 „Gefällt mir“
8

Ich bin mit meinem Latein am Ende, was das Arbeiten auf einer EC2-Instanz ohne GPU angeht. Soweit meine extrem begrenzten Fähigkeiten und mein Verständnis reichen, bedeutet die Arbeit mit einer reinen CPU-Instanz mehr Konfigurationsaufwand, als ich verstehen kann. Die cpu-Versionen von ghcr.io/huggingface/text-embeddings-inference weigern sich, eines der beiden Modelle zu laden. Claude und GPT5 sagen mir beide, dass ich sie mit einer Reihe von Python-Tools in ONNX-Modelle konvertieren muss, und da habe ich dann aufgegeben.

(Es ist auch sehr gut möglich, dass ich einfach nur dumm bin und einen offensichtlichen Schritt übersehe!)

9

Eine Sache, die wir planen, ist, LLMs als Sentiment-Analyse zu ermöglichen.

Auf diese Weise können Sie ein günstiges Modell wie Gemini Flash 2.5 (oder sogar Nano) anschließen und es für die Sentiment-Analyse verwenden.

6 „Gefällt mir“
10

Wir versuchen, diese Funktion mit Azure AI Language (von unserer selbst gehosteten Discourse-Instanz aus) zu nutzen – da wir bereits unser Azure-Abonnement zur Integration von GPT-4.5 mit Discourse (für Zusammenfassungs- und Chatbot-Funktionalität) verwenden:

– aber wir erhalten keine Daten im Sentiment-Dashboard und sehen diese Fehler in den Protokollen:

Discourse AI: Errors during bulk classification: Failed to classify 208 posts (example ids: 2256, 909, 2270, 2260, 2797) : JSON::ParserError : An empty string is not a valid JSON string.

Der Backtrace zeigt, dass Discourse möglicherweise HuggingFace zu verwenden versucht – sind dies im Moment die einzigen unterstützten Modelle?

Danke,

N

11

Ja, wir haben eine sehr spezifische Implementierung, wir überlegen, wie wir sie allgemeiner gestalten können.

Ich bin optimistisch, LLMs einfach strukturiertes Output für Sentiment zurückgeben zu lassen, da dies viele Optionen eröffnet und ich das Gefühl habe, dass als Trend „hyper-spezifische“ APIs durch „hyper-generelle“ APIs ersetzt werden, die LLMs bieten.

3 „Gefällt mir“
12

Gibt es eine einfache Möglichkeit, dies auf selbst gehostetem WP zum Laufen zu bringen, ohne eine eigene Instanz für die Sentiment-Klassifizierung einzurichten?

13

Danke Sam – das wäre großartig. In der Zwischenzeit werden wir untersuchen, wie wir eines der unterstützten HuggingFace-Modelle auf einer Azure VM ausführen können…