Falls deine Discourse-Website von uns gehostet wird, hast du möglicherweise in deinen KI-Einstellungen ein LLM namens CDCK Hosted Model oder CDCK/MoM bemerkt, das Funktionen wie Zusammenfassungen, KI-Suche und mehr antreibt. Dieses Thema erklärt, was es ist und wie es funktioniert.
Die Kurzversion
CDCK/MoM (“Mixture of Models”) ist das integrierte LLM, das wir gehosteten Kunden ohne zusätzliche Kosten bereitstellen, angetrieben durch das tägliche Kontingent an KI-Credits deiner Website. Anstatt ein einzelnes Modell zu sein, ist es eine intelligente Routing-Schicht, die von CDCK (dem Unternehmen hinter Discourse) betrieben wird und jede Anfrage an eines von mehreren kuratierten Open-Weight-Modellen weiterleitet.
Warum eine Mischung aus Modellen?
Verschiedene KI-Funktionen haben unterschiedliche Anforderungen. Die Zusammenfassung eines langen Themas, die Generierung von Kontext für Such-Embeddings und die Unterstützung einer Helfer-Persona stellen jeweils unterschiedliche Anforderungen an ein Modell – Kontextlänge, Geschwindigkeit, Reasoning-Tiefe und Kosten variieren alle.
Anstatt jede Funktion an ein einzelnes Modell zu binden, leitet CDCK/MoM jede Anfrage an das Modell weiter, das am besten für die Aufgabe geeignet ist. Dadurch können wir:
- Das Modell an die Aufgabe anpassen – schnelle Aufgaben erhalten schnelle Modelle; anspruchsvollere Aufgaben erhalten leistungsfähigere.
- Aktuell bleiben – wenn bessere Modelle verfügbar werden, können wir den Pool im Hintergrund aktualisieren. Deine Website profitiert sofort, ohne dass du Einstellungen ändern musst.
- Es kostenlos zu halten – effizientes Routing bedeutet, dass wir mit Hosting-Plänen ein großzügiges tägliches Kontingent an KI-Credits einbeziehen können.
Welche Modelle stecken dahinter?
Der Pool besteht derzeit aus:
Diese Auswahl wird sich mit der Zeit weiterentwickeln, da sich die Landschaft der Open-Modelle verbessert – das ist der Zweck der Routing-Schicht. Wir werden dieses Thema aktualisieren, wenn sich der Pool ändert.
Wie funktionieren KI-Credits?
Jede gehostete Website mit aktivierten KI-Funktionen erhält ein tägliches Kontingent an KI-Credits (gemessen in Tokens). Die Nutzung von CDCK/MoM wird aus diesem Kontingent abgezogen und es wird täglich zurückgesetzt. Für die meisten Gemeinden deckt das enthaltene Kontingent den alltäglichen Gebrauch der integrierten KI-Funktionen bequem ab.
Mehr über KI-Credits unter Unlock All Discourse AI Features with Our Hosted LLM und aktuelle Werte pro Plan unter Discourse pricing | Discourse - Civilized Discussion
Häufig gestellte Fragen
Kann ich trotzdem mein eigenes LLM verwenden?
Ja. CDCK/MoM ist ein Standard, keine Pflicht. Du kannst in deinen KI-Einstellungen eigene API-Schlüssel für andere Anbieter konfigurieren und sie neben oder anstelle von CDCK/MoM verwenden.
Variieren meine Ergebnisse je nachdem, welches Modell meine Anfrage bearbeitet?
Die Modelle im Pool wurden so ausgewählt, dass sie für die Funktionen, die sie bedienen, eine konsistente Qualität liefern. Das Routing erfolgt pro Aufgabe, daher wird sich eine bestimmte Funktion vorhersehbar verhalten.
Wo wird die Inferenz ausgeführt und was passiert mit meinen Daten?
Die Inferenz wird auf denselben Servern und in denselben Rechenzentren ausgeführt, auf denen wir die Discourse-Anwendung selbst betreiben. Bei der Nutzung von CDCK/MoM verlassen deine Daten nie unsere Infrastruktur und werden nicht mit einem dritten KI-Anbieter geteilt.
Fragen? Stell sie gerne unten.