Discourse AI - Einstellungsseite für Large Language Model (LLM)

[Discourse]

Diese Anleitung behandelt die Seite mit den LLM-Einstellungen, die Teil des Discourse AI-Plugins ist.

Erforderliche Benutzerebene: Administrator

Die spezielle Einstellungsseite ist so konzipiert, dass alles, was mit Large Language Models (LLMs) für Discourse AI-Funktionen zu tun hat, an einem Ort zusammengefasst ist.

Je nach aktivierter Discourse AI-Funktion kann ein LLM erforderlich sein. Bitte überprüfen Sie jede Discourse AI-Funktion, um zu erfahren, ob ein LLM eine Voraussetzung ist.

Funktionen

• Neue Modelle hinzufügen, mit vorab ausgefüllten Informationen
• Benutzerdefinierte Modelle hinzufügen, die nicht aufgeführt sind
• LLM-Einstellungen konfigurieren
• Spezifische LLM-Nutzung für den KI-Bot zulassen
  • KI-Bot-Benutzernamen anzeigen
• Vision-Unterstützung aktivieren (modellabhängig)
• Testen
• Einstellungen speichern

LLM-Verbindungen hinzufügen

1. Gehen Sie zu Admin → Plugins → AI
2. Gehen Sie zum Tab LLMs
3. Fügen Sie eine neue Verbindung hinzu, wählen Sie Ihr Modell aus
4. Geben Sie den API-Schlüssel ein (je nach Modell müssen Sie möglicherweise weitere Felder manuell eingeben) und speichern Sie
5. (Optional) Testen Sie Ihre Verbindung, um sicherzustellen, dass sie funktioniert

Unterstützte LLMs

Sie können jederzeit eine benutzerdefinierte Option hinzufügen, wenn Ihr Modell nicht aufgeführt ist. Unterstützte Modelle werden ständig hinzugefügt.

• Grok-2
• Deepseek-R1
• Nova Pro
• Nova Lite
• Nova Micro
• o3-pro
• o3
• o3-mini
• GPT-4.1 (einschließlich: nano, mini)
• GPT-4o
• GPT-4o mini
• OpenAI o1 Preview
• OpenAI o1 mini Preview
• Claude Sonnet 3.7
• Claude Sonnet 3.5
• Claude Haiku 3.5
• Gemini Pro 1.5
• Gemini Flash 1.5
• Gemini Flash 2.0
• Llama 3.1
• Llama 3.3
• Mistral large
• Pixtral large
• Qwen 2.5 Coder

Zusätzlich können gehostete Kunden das CDCK Hosted Small LLM (Qwen 2.5) verwenden, das auf der Einstellungsseite vorkonfiguriert ist. Dies ist ein Open-Weights-LLM, das von Discourse gehostet wird und zur Unterstützung von KI-Funktionen bereitsteht.

Konfigurationsfelder

Sie sehen nur die Felder, die für Ihren ausgewählten LLM-Anbieter relevant sind. Bitte überprüfen Sie alle vorab ausgefüllten Felder mit dem entsprechenden Anbieter, wie z. B. Model name

• Anzeigename
• Modellname
• Dienst, der das Modell hostet
• URL des Dienstes, der das Modell hostet
• API-Schlüssel des Dienstes, der das Modell hostet
• AWS Bedrock Access Key ID
• AWS Bedrock Region
• Optionale OpenAI-Organisations-ID
• Tokenizer
• Anzahl der Tokens für den Prompt
• Antworten-API aktivieren (nur OpenAI, stellen Sie sicher, dass die URL auf https://api.openai.com/v1/responses gesetzt ist)

Technisches FAQ

Was ist ein Tokenizer?

• Der Tokenizer übersetzt Zeichenketten in Tokens, die ein Modell zur Eingabeinterpretation verwendet.

Welche Zahl sollte ich für Anzahl der Tokens für den Prompt verwenden?

• Eine gute Faustregel ist 50 % des Modell-Kontextfensters, das die Summe der gesendeten und generierten Tokens darstellt. Wenn der Prompt zu groß wird, schlägt die Anfrage fehl. Diese Zahl wird verwendet, um den Prompt zu kürzen und dies zu verhindern.

Vorbehalte

• Manchmal wird das gewünschte Modell möglicherweise nicht aufgeführt. Obwohl Sie es manuell hinzufügen können, werden wir beliebte Modelle unterstützen, sobald sie veröffentlicht werden.

[qianping_chen (rouin)]

Es ist zu schwierig, ich weiß überhaupt nicht, wie ich es machen soll. Ich hoffe, spezifische Tutorials zu verschiedenen KIs, wie z. B. Google-Anmeldeeinstellungen, zu aktualisieren.

[sam (Sam Saffron)]

Wir haben die Benutzeroberfläche in der letzten Woche stark verbessert. Können Sie sie noch einmal ausprobieren?

[hameedacpa (Abdelhamid)]

Wann wird Gemini 2.0 unterstützt?

[sam (Sam Saffron)]

Wurde schon eine Weile unterstützt.

[Joe_F (Joe Farrar)]

Ich habe anscheinend ein Problem, bei dem ich keine LLM auswählen kann, obwohl ich die gehosteten über das CDCK konfiguriert habe..

Ist das normal?

[sam (Sam Saffron)]

Hier gibt es viel zu entpacken. Welches LLM möchten Sie wofür auswählen?

Die CDCK LLMs sind nur für sehr spezifische Funktionen verfügbar. Um zu sehen, welche Sie benötigen, gehen Sie zu /admin/whats-new auf Ihrer Instanz und klicken Sie auf „Nur experimentelle Funktionen anzeigen“. Sie müssen diese aktivieren, um das CDCK LLM für bestimmte Funktionen freizuschalten.

Jedes LLM, das Sie außerhalb der CDCK LLMs definieren, ist für alle Funktionen verfügbar.

[AquaL1te]

Gibt es auch ein Thema, das einen allgemeinen Überblick über das beste Kosten-/Qualitätsverhältnis gibt? Oder sogar, welche LLMs kostenlos für eine kleine Community und grundlegende Funktionalität verwendet werden können? Ich kann mich ins Detail vertiefen und herumspielen. Aber mir fehlt es ein wenig an Zeit.

Zum Beispiel interessiere ich mich nur für Spam-Erkennung und einen Profanitätsfilter. Das hatte ich kostenlos, aber diese Plugins sind veraltet oder werden es bald sein. Es wäre schön, wenn ich diese Funktionalität beibehalten könnte, ohne für ein LLM bezahlen zu müssen.

[Saif (Saif Murtaza)]

@AquaL1te

Gibt es auch ein Thema, das eine allgemeine Übersicht über das beste Kosten-/Qualitätsverhältnis bietet? Oder sogar, welche LLM kostenlos für eine kleine Community und grundlegende Funktionalität verwendet werden kann? Ich kann mich mit den Details befassen und herumspielen. Aber mir fehlt ein wenig die Zeit.

Wir haben dieses Thema, das könnte das sein, wonach Sie suchen.

What LLM to use for Discourse AI?

It’s important to understand the needs of you as the community admin and your members when choosing a Large Language Model (LLM) to power Discourse AI features. Several factors may influence your decisions: Performance for use-case: Are you looking for the best-performing model? Performance can vary depending on the task (e.g., summarization, search, complex reasoning, spam detection). Assessment is based on the model’s ability to generate correct, relevant, and coherent responses. Context …

[AquaL1te]

Fertig! Es war tatsächlich ziemlich einfach. Aber vielleicht ist es für jemanden, der nicht technisch versiert ist, immer noch etwas schwierig einzurichten. Zum Beispiel wurde der Modellname in den Einstellungen automatisch gesetzt, war aber nicht der richtige. Glücklicherweise erkannte ich den Modellnamen in einem Curl-Beispiel für Claude auf der API-Seite und dann funktionierte es

Die geschätzten Kosten für die Spam-Kontrolle liegen vielleicht bei 30 Cent pro Monat (ich habe kein riesiges Forum). Das ist also überschaubar! Ich habe zur Sicherheit ein Limit von 5 Euro in der API-Konsole festgelegt.

[Saif (Saif Murtaza)]

@AquaL1te

Zum Beispiel wurde der Modellname in den Einstellungen automatisch festgelegt, war aber nicht der richtige.

Welchen hast du für Claude ausgewählt? Welcher falsche Name wurde angezeigt und in welchen hast du ihn korrigiert?

[AquaL1te]

Ich verwende Claude 3.5, die Modell-ID ist standardmäßig claude-3-5-haiku, aber ich musste sie auf claude-3-5-haiku-20241022 ändern, sonst erhielt ich einen Fehler.

[Saif (Saif Murtaza)]

@AquaL1te

Ich verwende Claude 3.5, die Modell-ID ist standardmäßig claude-3-5-haiku, aber ich musste sie in claude-3-5-haiku-20241022 ändern, sonst erhielt ich einen Fehler.

Gut zu wissen, ja manchmal gibt es vielleicht eine Diskrepanz. Die automatisch ausgefüllten Informationen sollten als Leitfaden dienen, was meistens funktioniert, aber in bestimmten Fällen wie Ihrem (angesichts all der verschiedenen Modelle und Anbieterkonfigurationen) nicht ausreicht.

Ich habe den Eröffnungspost dieses Leitfadens aktualisiert.

[jrgong]

@Discourse

• Gemini Flash 2.0

Dieses Modell ist nicht in 3.4.2 aufgeführt – sind diese Vorkonfigurationen nur auf 3.5 verfügbar und muss ich sie manuell hinzufügen?

Bearbeiten: Welche Option wähle ich für „Tokenizer“ bei der Verwendung von Grok 3-Modellen?

[Falco]

@jrgong

Dieses Modell ist nicht in 3.4.2 aufgeführt – sind diese Pre-Configs nur auf 3.5 verfügbar und muss ich sie manuell hinzufügen?

Pre-Configs sind lediglich Vorlagen, Sie können das gleiche Endergebnis erzielen, indem Sie die „Manuelle Konfiguration“ verwenden.

@jrgong

Bearbeiten: Welche Option wähle ich auch für „Tokenizer“ bei der Verwendung von Grok 3-Modellen?

Ich habe festgestellt, dass der Gemini-Tokenizer dem Grok-Tokenizer ziemlich nahe kommt, also probieren Sie das aus.

[CraigW (Craig Wright)]

Gibt es eine Möglichkeit, IBM WatsonX über die aktuelle Konfigurationsverwaltung zu nutzen, oder würde dies zusätzliche Entwicklungsarbeit durch die Discourse-Mitarbeiter erfordern?

[Falco]

Bietet IBM WatsonX zufällig eine OpenAI-kompatible API an?

[CraigW (Craig Wright)]

Tolle Frage. Ein kurzer Blick in die Dokumentation hat mir nicht viel verraten, aber die Tatsache, dass dieses Repository existiert, deutet darauf hin, dass es nicht direkt kompatibel ist: GitHub - aseelert/watsonx-openai-api: Watsonx Openai compatible API

[AntiMetaman]

Welches dieser LLMs kann kostenlos für Anti-Spam verwendet werden?

Edit: Habe es gefunden, ich benutze Gemini Flash 2.5

[pfaffman (Jay Pfaffman)]

Ich frage mich das auch immer. Das scheint die beste Antwort auf diese Frage zu sein.

@Saif

• Spam-Erkennung / KI-Triage (Text): Kostengünstige/Geschwindigkeitsmodelle sind in der Regel ausreichend und kosteneffizient (Haiku 3.5, Gemini 2.0 Flash, GPT-4o mini, Llama 3.3).
• KI-Triage (NSFW-Bilderkennung): Erfordert ein Vision-fähiges Modell (GPT-4o/mini, Sonnet 3.7, Gemini 2.5 Pro/2.0 Flash, Llama 3.2, spezifische von Discourse gehostete/unterstützte Modelle).

Aber auch das steht im OP des Spam-Konfigurations-Threads. Ich denke, es ist einfach schwer, es in all den Informationen zu finden.

@sam

LLM-Auswahl-Empfehlungen

Die Leistung der Spam-Erkennung hängt vom gewählten LLM ab.

Die meisten kostengünstigen LLMs funktionieren effektiv, wie zum Beispiel:

• GPT-4o-mini
• Claude 3.5 Haiku
• Gemini 2.0 Flash

Experimentieren Sie mit verschiedenen Modellen, um die beste Lösung zu finden. Konfigurieren Sie Ihre Modelle über /admin/plugins/discourse-ai/ai-llms.