Wenn Ihre Discourse-Website von uns gehostet wird, haben Sie möglicherweise ein LLM mit dem Namen CDCK Hosted Model oder CDCK/MoM in Ihren AI-Einstellungen bemerkt, das Funktionen wie Zusammenfassungen, KI-Suche und mehr unterstützt. Dieses Thema erklärt, was es ist und wie es funktioniert.
Die kurze Version
CDCK/MoM (“Mixture of Models”) ist das integrierte LLM, das wir unseren gehosteten Kunden kostenlos zur Verfügung stellen, angetrieben durch das tägliche Kontingent an AI-Credits Ihrer Website. Statt ein einzelnes Modell zu sein, ist es eine intelligente Routing-Schicht, die von CDCK (dem Unternehmen hinter Discourse) betrieben wird und jede Anfrage an eines von mehreren kuratierten Open-Weight-Modellen sendet.
Warum eine Mischung aus Modellen?
Verschiedene KI-Funktionen haben unterschiedliche Anforderungen. Das Zusammenfassen eines langen Themas, das Generieren von Kontext für Such-Embeddings und das Betreiben einer Helfer-Persona stellen jeweils unterschiedliche Anforderungen an ein Modell – Kontextlänge, Geschwindigkeit, Tiefe der Schlussfolgerungen und Kosten variieren.
Anstatt jede Funktion an ein einzelnes Modell zu binden, leitet CDCK/MoM jede Anfrage an das Modell weiter, das am besten für die Aufgabe geeignet ist. Dies ermöglicht uns:
- Das Modell an die Aufgabe anzupassen – schnelle Aufgaben erhalten schnelle Modelle; anspruchsvollere Aufgaben erhalten leistungsfähigere Modelle.
- Aktuell zu bleiben – wenn bessere Modelle verfügbar werden, können wir das Pool im Hintergrund aktualisieren. Ihre Website profitiert sofort, ohne Konfigurationsänderungen auf Ihrer Seite.
- Kostenlos zu halten – effizientes Routing bedeutet, dass wir ein großzügiges tägliches Kontingent an AI-Credits mit Hosting-Plänen einbeziehen können.
Welche Modelle stehen dahinter?
Das Pool besteht derzeit aus:
Diese Auswahl wird sich im Laufe der Zeit weiterentwickeln, da sich das Open-Model-Landschaft verbessert – das ist der Zweck der Routing-Schicht. Wir werden dieses Thema aktualisieren, wenn sich das Pool ändert.
Wie funktionieren AI-Credits?
Jede gehostete Website mit aktivierten KI-Funktionen erhält ein tägliches Kontingent an AI-Credits (gemessen in Tokens). Die Nutzung von CDCK/MoM wird aus diesem Kontingent abgezogen und es wird täglich zurückgesetzt. Für die meisten Communities deckt das inklusive Kontingent bequem den alltäglichen Gebrauch der integrierten KI-Funktionen ab.
Mehr über AI-Credits unter Unlock All Discourse AI Features with Our Hosted LLM und aktuelle Werte pro Plan unter Discourse pricing | Discourse - Civilized Discussion
Häufig gestellte Fragen
Kann ich immer noch mein eigenes LLM verwenden?
Ja. CDCK/MoM ist ein Standard, keine Anforderung. Sie können Ihre eigenen API-Schlüssel für andere Anbieter in Ihren AI-Einstellungen konfigurieren und sie neben oder statt CDCK/MoM verwenden.
Werden meine Ergebnisse variieren, je nachdem, welches Modell meine Anfrage bearbeitet?
Die Modelle im Pool wurden ausgewählt, um eine konsistente Qualität für die Funktionen zu liefern, die sie bedienen. Das Routing erfolgt pro Aufgabe, sodass eine gegebene Funktion vorhersehbar funktioniert.
Wo läuft die Inferenz, und was passiert mit meinen Daten?
Die Inferenz läuft auf denselben Servern und Rechenzentren, in denen wir die Discourse-Anwendung selbst ausführen. Bei der Verwendung von CDCK/MoM verlassen Ihre Daten niemals unsere Infrastruktur und werden nicht mit einem Drittanbieter-KI-Anbieter geteilt.
Fragen? Stellen Sie sie unten.