Es ist wichtig, die Bedürfnisse von Ihnen als Community-Administrator und Ihren Mitgliedern zu verstehen, wenn Sie ein Large Language Model (LLM) für die Discourse AI-Funktionen auswählen.
Mehrere Faktoren können Ihre Entscheidungen beeinflussen:
- Leistung für den Anwendungsfall: Suchen Sie nach dem leistungsstärksten Modell? Die Leistung kann je nach Aufgabe variieren (z. B. Zusammenfassung, Suche, komplexe Schlussfolgerungen, Spam-Erkennung). Die Bewertung basiert auf der Fähigkeit des Modells, korrekte, relevante und kohärente Antworten zu generieren.
- Kontextlänge: Das Kontextfenster ist die Textmenge, die ein Modell auf einmal „sehen“ und berücksichtigen kann. Größere Kontextfenster ermöglichen die Verarbeitung von mehr Informationen (z. B. längere Themen für die Zusammenfassung) und die Aufrechterhaltung der Kohärenz über längere Interaktionen hinweg.
- Kompatibilität: Wird das Modell vom Discourse AI-Plugin sofort unterstützt? Benötigt es spezifische API-Endpunkte oder Konfigurationen? Überprüfen Sie die Plugin-Dokumentation auf unterstützte Anbieter und Modelle.
- Sprachunterstützung: Während viele Top-LLMs mehrere Sprachen gut beherrschen, kann die Leistung variieren. Wenn Ihre Community hauptsächlich eine andere Sprache als Englisch verwendet, wird empfohlen, spezifische Modelle für diese Sprache zu testen.
- Multimodale Fähigkeiten: Einige Funktionen, wie z. B. AI Triage (NSFW-Erkennung), erfordern Modelle, die Bilder verarbeiten können (Vision). Stellen Sie sicher, dass das ausgewählte Modell die erforderlichen Modalitäten unterstützt.
- Geschwindigkeit & Modi: Größere, leistungsfähigere Modelle können langsamer sein. Für Echtzeitfunktionen wie AI Helper oder Search können schnellere Modelle eine bessere Benutzererfahrung bieten. Einige Modelle (wie Claude 3.7 Sonnet) bieten verschiedene Modi, die einen Kompromiss zwischen Geschwindigkeit und tieferer Schlussfolgerung ermöglichen.
- Kosten: Das Budget ist oft ein Schlüsselfaktor. Die Kosten für Modelle variieren erheblich je nach Anbieter und Modellstufe. Die Kosten werden typischerweise pro Token (Eingabe und Ausgabe) gemessen. Schnellere/kleinere Modelle sind im Allgemeinen günstiger als große/hochleistungsfähige Modelle. Open-Source-Modelle können oft kostengünstiger betrieben werden, abhängig vom Hosting.
- Datenschutzbedenken: Verschiedene LLM-Anbieter haben unterschiedliche Richtlinien zur Datennutzung und zum Datenschutz. Überprüfen Sie die Nutzungsbedingungen, insbesondere in Bezug darauf, ob Ihre Daten für Trainingszwecke verwendet werden könnten. Einige Anbieter bieten Optionen zur Datenaufbewahrung von null an.
- Open vs. Closed Source: Open-Source-Modelle bieten Transparenz und die Möglichkeit zum Self-Hosting oder Fine-Tuning, erfordern jedoch möglicherweise mehr technischen Aufwand. Closed-Source-Modelle sind typischerweise einfacher über APIs zu verwenden, bieten aber weniger Kontrolle und Transparenz.
Auswahl eines LLM für Discourse AI-Funktionen
Die LLM-Landschaft entwickelt sich rasant. Die folgende Tabelle gibt einen allgemeinen Überblick über derzeit beliebte und leistungsfähige Modelle, die für verschiedene Discourse AI-Funktionen geeignet sind, kategorisiert nach ihren typischen Stärken und Kostenprofilen. Die Modelle innerhalb jeder Kategorie sind alphabetisch aufgeführt.
Dies sind allgemeine Richtlinien. Überprüfen Sie immer die offizielle Dokumentation des Discourse AI-Plugins auf die aktuellste Liste der unterstützten Modelle und erforderlichen Konfigurationen. Leistung und Kosten ändern sich häufig; konsultieren Sie die Dokumentation des LLM-Anbieters für die neuesten Details. Die Verfügbarkeit und Leistung von Open-Source-Modellen kann vom spezifischen Anbieter oder der Hosting-Einrichtung abhängen.
Eine alternative Option für gehostete Kunden ist die Verwendung der von Discourse gehosteten, vorkonfigurierten Open-Weight-LLMs. Diese können oft über Admin → Einstellungen → AI →
ai_llm_enabled_modelsoder spezifische Feature-Einstellungen aktiviert werden.
| Kategorie | Modell | Anbieter | Wichtigste Stärken / Anwendungsfälle | Hinweise |
|---|---|---|---|---|
| Top-Leistung/Schlussfolgerung | Claude 3.7 Sonnet (Thinking) | Anthropic | Maximale Schlussfolgerungsfähigkeit, komplexe Aufgaben, Analyse, Generierung | Benötigt mehr Ressourcen/Zeit als der normale Modus, exzellente Vision |
| DeepSeek-R1 | DeepSeek | Starke Schlussfolgerung, konkurrenzfähig mit Top-Tier, Coding, Mathematik | Open-Source-Option, potenziell geringere Kosten als proprietäre Äquivalente | |
| Gemini 2.5 Pro | Hohe Leistung, sehr großes Kontextfenster, starke Multimodalität | Exzellenter Allrounder, gute Integration in das Google-Ökosystem | ||
| OpenAI o1 / o1-pro | OpenAI | State-of-the-Art-Schlussfolgerung, komplexe Aufgaben, Generierung | Höchste Kosten, o1-pro wahrscheinlich für maximale Fähigkeit über API erforderlich |
|
| Ausbalanciert (Mehrzweck) | Claude 3.7 Sonnet (Regular) | Anthropic | Hohe Leistung, gute Schlussfolgerung, großer Kontext, Vision, schnellerer Modus | Exzellente Standardwahl, gleicht Geschwindigkeit und Fähigkeit aus |
| DeepSeek-V3 | DeepSeek | Starke allgemeine Leistung, gutes Preis-Leistungs-Verhältnis | Open-Source-Option, kostengünstig für breite Nutzung | |
| GPT-4o | OpenAI | Sehr starker Allrounder, gute Multimodalität, weitgehend kompatibel | Großartige Balance aus Leistung, Geschwindigkeit und Kosten | |
| OpenAI o3-mini | OpenAI | Gute Leistung und Schlussfolgerung für die Kosten | Ein flexibles, intelligentes Schlussfolgerungsmodell, geeignet für viele Aufgaben | |
| Kostengünstig/Geschwindigkeit | Claude 3.5 Haiku | Anthropic | Extrem schnell und kostengünstig, geeignet für einfachere Aufgaben | Am besten für hohe Volumina und geringe Latenzbedürfnisse wie Suche, einfache Zusammenfassungen |
| Gemini 2.0 Flash | Sehr schnell und kostengünstig, gute allgemeine Fähigkeiten | Gut für Zusammenfassungen, Suche, Helferaufgaben | ||
| GPT-4o mini | OpenAI | Schnelle, erschwingliche Version von GPT-4o, gut für viele Aufgaben | Gute Balance aus Kosten/Leistung für einfachere Funktionen | |
| Llama 3.3 (z. B. 70B) | Meta | Starkes Open-Source-Modell, oft kostengünstige Mehrzweckoption | Leistung variiert je nach Anbieter/Hosting, Kompatibilität muss geprüft werden | |
| Vision-fähig | Claude 3.7 Sonnet | Anthropic | Starke Vision-Fähigkeiten (beide Modi) | Erforderlich für AI Triage/NSFW-Erkennung |
| Gemini 2.5 Pro / 2.0 Flash | Starke Vision-Fähigkeiten | Erforderlich für AI Triage/NSFW-Erkennung | ||
| GPT-4o / GPT-4o mini | OpenAI | Integrierte Text- und Vision-Fähigkeiten | Erforderlich für AI Triage/NSFW-Erkennung | |
| Llama 3.2 | Meta | Open-Source-Vision-Fähigkeiten | Kompatibilität/Hosting/Anbieterunterstützung muss geprüft werden | |
| Discourse Hosted LLM | Discourse | Vorkonfiguriertes Vision-Modell für gehostete Websites | Spezifische Feature-Einstellungen prüfen (z. B. NSFW-Erkennung) | |
| Qwen-VL / andere | Verschiedene | Discourse AI-Plugin auf spezifische unterstützte Vision-Modelle prüfen | Konfiguration kann variieren |
Allgemeine Empfehlungszuordnung (Vereinfacht):
- AI Bot (Komplexe Fragen/Antworten, Persona): Top-Performance/Schlussfolgerungsmodelle (Claude 3.7 Sonnet - Thinking, R1, Gemini 2.5 Pro, o1-pro) oder starke Balanced-Modelle (GPT-4o, Claude 3.7 Sonnet - Regular, o3-mini).
- AI Search: Kostengünstige/Geschwindigkeitsmodelle (Haiku 3.5, Gemini 2.0 Flash, GPT-4o mini, Llama 3.3) oder Balanced-Modelle für etwas besseres Verständnis (GPT-4o, DeepSeek-V3).
- AI Helper (Titelvorschläge, Korrekturlesen): Kostengünstige/Geschwindigkeitsmodelle oder Balanced-Modelle. Geschwindigkeit wird oft bevorzugt. Claude 3.7 Sonnet (Regular) oder GPT-4o mini sind gute Kandidaten. Llama 3.3 kann hier ebenfalls gut funktionieren.
- Zusammenfassen: Balanced-Modelle (Claude 3.7 Sonnet - Regular, GPT-4o, o3-mini, DeepSeek-V3) oder Kostengünstige Modelle (Gemini 2.0 Flash, Llama 3.3). Längere Kontextfenster (Gemini 2.5 Pro, Sonnet 3.7) sind für lange Themen vorteilhaft, wenn das Budget es zulässt.
- Spam-Erkennung / AI Triage (Text): Kostengünstige/Geschwindigkeitsmodelle sind normalerweise ausreichend und kosteneffizient (Haiku 3.5, Gemini 2.0 Flash, GPT-4o mini, Llama 3.3).
- AI Triage (NSFW-Bilderkennung): Erfordert ein Vision-fähiges Modell (GPT-4o/mini, Sonnet 3.7, Gemini 2.5 Pro/2.0 Flash, Llama 3.2, spezifische von Discourse gehostete/unterstützte Modelle).
Denken Sie daran, die ausgewählten LLM(s) in Ihren Discourse Admin-Einstellungen unter den entsprechenden AI-Funktionen zu konfigurieren.