Wie konfiguriere ich Discourse, um ein lokal installiertes LLM zu verwenden?

[meglio (Anton)]

Entschuldigung Leute, ich konnte aus diesem Artikel nicht herausfinden, ob lokal installierte LLMs über die Standard-Einstellungen-UI konfiguriert werden können.

[mcwumbly (Dave McClure)]

Ich denke, solange es eine unterstützte API bereitstellt, sollte es möglich sein.

Gibt es ein bestimmtes LLM (Large Language Model), das Sie lokal installieren möchten (oder bereits installiert haben)?

[Lilly (Lillian Louis)]

Dieses Thema könnte helfen

Self-Hosting an OpenSource LLM for DiscourseAI

The Discourse AI plugin has many features that require an LLM to be enabled, like, for example, Summarization, AI Helper, AI Search, AI Bot. While you can use a third party API, like Configure API Keys for OpenAI or Configure API Keys for Anthropic we built Discourse AI since first day to not be locked into those. Running with HuggingFace TGI HuggingFace provides an awesome container image that can get you running quickly. For example: mkdir -p /opt/tgi-cache docker run --rm --gpus all --shm-…

[meglio (Anton)]

@mcwumbly

Gibt es eine bestimmte LLM, die Sie lokal installieren möchten (oder bereits installiert haben)?

Das ist eine weitere Übung, die richtige auszuwählen – ich war mir nicht sicher, selbst nachdem ich Ihre KI-bezogenen Artikel hier bei Meta gelesen hatte.

Ich schätze, ein Open Source LLM Selector-Tool vom Discourse Team wäre sehr hilfreich – weil Sie die Interna kennen und genau wissen, wozu eine LLM in der Lage sein muss, um in verschiedenen Arten von Aufgaben, die für Discourse-Communities relevant sind, hervorragende Leistungen zu erbringen. Das Tool/Wizard/LLM würde also Fragen stellen oder mich eine Liste von über 20 typischen Aufgaben auswählen/abwählen lassen, die ich von der LLM in meiner Community erledigen lassen möchte, und dann eine empfohlene Top 3 erhalten (kompromisslos, aber am schwersten und erfordert teure Hardware; ausgewogen, das einen mittelpreisigen dedizierten Server erfordert; und leichtgewichtig für grundlegende Aufgaben in kleinen bis mittleren Communities, die auf einem $20-40 VPS laufen können).

[pfaffman (Jay Pfaffman)]

@meglio

Das Tool/der Assistent/LLM würde also Fragen stellen oder mich eine Liste von über 20 typischen Aufgaben, die ich vom LLM in meiner Community erledigen lassen möchte, ankreuzen lassen, und dann eine empfohlene Top 3 erhalten (kompromisslos, aber am anspruchsvollsten und erfordert teure Hardware; ausgewogen, das einen mittelpreisigen dedizierten Server erfordert; und leichtgewichtig für grundlegende Aufgaben in kleinen bis mittleren Communities, die auf einem VPS für 20-40 US-Dollar laufen können).

Ich glaube, die richtige Antwort darauf zu pflegen wäre ein Vollzeitjob.

[sam (Sam Saffron)]

Wenn Sie nach etwas Günstigem suchen, ist die kostenlose Gemini-Stufe die richtige Wahl:

Gemini Developer API Pricing  |  Gemini API  |  Google AI...

Gemini Flash 2.0 ist ein sehr leistungsfähiges Modell und die kostenlose Stufe bietet genügend Nutzung, um eine ganze Reihe von Dingen in Ihrem Forum durchzuführen.

[meglio (Anton)]

Ich suche nach einer lokal gehosteten Lösung, da ich keine unserer Inhalte an einen Dienst außerhalb unserer Server senden kann.

Vielen Dank für den Hinweis zu den günstigen Optionen!

[Falco]

@meglio

eine empfohlene Top 3 (kompromisslos, aber am schwersten und erfordert teure Hardware; ausgewogen, die einen dedizierten Server mittlerer Preisklasse erfordert; und leichtgewichtig für grundlegende Aufgaben in kleinen bis mittleren Communities, die auf einem VPS für 20-40 US-Dollar laufen können).

Kompromisslos

• DeepSeek V3 0324
• Qwen 3 235B A22

Ausgewogen

• Qwen 3 32B / 30B A3B
• Llama 3.3 70B
• Qwen 2.5 70B

Leichtgewichtig

Vielleicht unsloth/gemma-3-4b-it-qat-GGUF · Hugging Face? Es ist auf diesem Niveau schwierig, viel wirtschaftlicher ist die Nutzung einer gehosteten API wie OpenRouter.