Zelf-hosten van sentiment en emotie voor DiscourseAI

Documentatie Zelf hosten
,
1

The Discourse AI plugin has support for requesting emotion/sentiment classification of new posts, which is stored in the database and can be used in reports and admin dashboards.

Running with HuggingFace TEI

HuggingFace provides an awesome container image that can get you running quickly.

For example:

mkdir -p /opt/tei-cache
docker run --rm --gpus all --shm-size 1g -p 8081:80 \
  -v /opt/tei-cache:/data \
  ghcr.io/huggingface/text-embeddings-inference:latest \
  --model-id cardiffnlp/twitter-roberta-base-sentiment-latest \
  --revision refs/pr/30

This should get you up and running with a local instance of ‘cardiffnlp/twitter-roberta-base-sentiment-latest’, an open model that can classify posts into positive/negative/neutral.

You can check if it’s working with

curl http://localhost:8081/ \
    -X POST \
    -H 'Content-Type: application/json' \
    "{ \"inputs\": \"I am happy\" }"

Which should return an array of confidence for each label under normal operation.

Supported models

Making it available for your Discourse instance

Most of the time, you will be running this on a dedicated server because of the GPU speed-up. When doing so, I recommend running a reverse proxy, doing TLS termination, and securing the endpoint so it can only be connected by your Discourse instance.

Configuring Discourse AI

Discourse AI includes site settings to configure the inference server for open-source models. You should point it to your server using the ai_sentiment_model_configs setting.

After that, enable the classification by toggling ai_sentiment_enabled.

2 likes
2

Are there plans to support other models in languages ​​other than English?

1 like
4

@Falco if one decides to run this on the same server running discourse (e.g. we have a very small deployment with a few thousand posts), could you update the instructions to outline

  1. How can discourse integrate with a local instance of HuggingFace TEI container image
  2. Suggestions on how much additional RAM/disk is required to run the above (e.g. if the base Discourse is running on 2GB RAM with 20GB disk)
5

So I have setup a new self hosted Discourse instance and trying to setup sentiments. This is my ai_sentiment_model_configs -

Key Value
model name cardiffnlp/twitter-roberta-base-sentiment-latest
endpoint https://my_own_instance
api_key [blank]

And it works, sort of, I get the sentiment bar graph.

image
image2118×1155 203 KB

However, the Emotion table is empty. This doc looks incomplete, or poorly worded for me to grasp what needs to be done.

Do I run another Docker container, with a different model ID (roberta-base-go_emotions?), or something else? What do I need to do get that emotion table filled up?

Would prefer to self host these services if possible. TIA if anybody can point me in the right direction.

6

For emotions you need to run the

too.

3 likes
7

Thank you. So I just run a second docker container with some tweaks, like so:

mkdir -p /opt/tei-cache2
docker run --detach --rm --gpus all --shm-size 1g -p 8082:80 \
  -v /opt/tei-cache2:/data \
  ghcr.io/huggingface/text-embeddings-inference:latest \
  --model-id SamLowe/roberta-base-go_emotions

and add a new entry in ai_sentiment_model_configs and it’s all working now. Thank you. :slight_smile:

1 like
8

Ik rende met mijn gezicht tegen een bakstenen muur van niet weten wat ik in hemelsnaam aan het doen ben om dit werkend te krijgen op een EC2-instantie zonder GPU. Althans, naar mijn extreem beperkte vaardigheden en begrip hier, betekent dit doen met een CPU-only instantie veel meer configuratiewerk dan ik kan begrijpen. De cpu-versies van ghcr.io/huggingface/text-embeddings-inference weigeren een van de twee luistermodellen te laden; Claude en GPT5 vertellen me allebei dat ik ze moet converteren naar ONNX-modellen met een hoop python-tools, en daar ben ik afgehaakt.

(Het is ook heel goed mogelijk dat ik gewoon dom ben en een voor de hand liggende stap mis!)

9

Een ding dat we van plan zijn, is om LLM’s toe te staan als sentimentanalyse te fungeren

Op die manier kunt u een goedkoop model zoals Gemini Flash 2.5 (of zelfs nano) aansluiten en gebruiken voor sentimentanalyse.

6 likes
10

We are trying to use this feature with Azure AI Language (from our self-hosted Discourse instance) - as we are already using our Azure subscription to integrate GPT-4.5 with Discourse (for summarization and chat-bot functionality):

  • but we are getting no data in the the sentiment dashboard, and can see these errors in the logs:

Discourse AI: Errors during bulk classification: Failed to classify 208 posts (example ids: 2256, 909, 2270, 2260, 2797) : JSON::ParserError : An empty string is not a valid JSON string.

The backtrace shows that Discourse might be trying to use HuggingFace - are these the only models supported at the moment?

Thanks,

N

11

Ja, we hebben een zeer specifieke implementatie, we denken na over hoe we deze generieker kunnen maken.

Ik ben optimistisch over het simpelweg laten retourneren van gestructureerde output door LLM’s voor sentiment, omdat dit deuren opent naar veel opties en ik het gevoel heb dat als een trend “hyper specifieke” API’s worden vervangen door “hyper algemene” API’s die LLM’s bieden.

1 like
12

Is er een eenvoudige manier om dit aan de praat te krijgen op zelf-gehoste WP zonder je eigen instantie op te zetten voor de sentimentclassificatie?

13

Bedankt Sam - dat zou geweldig zijn. Ondertussen zullen we onderzoeken of we een van de ondersteunde HuggingFace-modellen op een Azure VM kunnen draaien…