Alle Discourse AI-Funktionen mit unserem gehosteten LLM freischalten

[keegan (Keegan George)]

Wir freuen uns, Ihnen mitteilen zu können, dass unsere gehosteten Kunden nun jede Discourse AI-Funktion mit unserem eigenen, gehosteten Open-Weights LLM^[1] betreiben können, das kostenlos mit Ihrem Hosting-Service vorab konfiguriert und enthalten ist.

Das bedeutet, dass jede KI-Funktion für Starter-, Pro-, Business- und Enterprise-Kunden ohne die Notwendigkeit eines externen LLM-Anbieters verfügbar ist.

Aktivieren des gehosteten LLM

Dies sollte bereits auf Ihrer Website unter der LLM-Konfigurationsseite verfügbar und aktiviert sein:

Admin → Plugins → Discourse AI → LLMs

Standardmäßig wird „CDCK Hosted Small LLM“ als Ihr Standard-LLM ausgewählt und sollte auch jedem Persona auf Ihrer Website zur Auswahl stehen.

Nutzung und Limits

Discourse misst die Nutzung des gehosteten LLM über ein Kreditsystem. Jedes Token für eine Anfrage oder Antwort verbraucht 1 Kredit. Die Credits sind proportional zu Ihrer Hosting-Stufe und werden täglich zurückgesetzt.

✱ Einige Funktionen wie die KI-Spamerkennung werden nicht auf Ihre Credits angerechnet.

Die Kreditlimits pro Stufe finden Sie auf der Preisseite auf unserer Website. Nachdem Sie Ihr Tageslimit erreicht haben, werden alle KI-Funktionen, die auf das LLM angewiesen sind, unterbrochen, bis die Credits am nächsten Tag zurückgesetzt werden.

Wenn Ihnen die Credits schnell ausgehen, sollten Sie das LLM-Kontingentsystem verwenden, um Beschränkungen pro Benutzer oder pro Gruppe festzulegen. Ein Upgrade auf eine höhere Stufe ist eine weitere Option, wenn Sie zusätzliche Kapazität benötigen.

Sie können die KI-Nutzung Ihrer Website jederzeit auf der KI-Nutzungsseite im Admin-Panel einsehen.

Weitere Details dazu, was zu tun ist, wenn die Credits aufgebraucht sind, finden Sie unter:

Running Out of AI credits? Available Options and Next Steps

If you’re using our CDCK Hosted LLM and you’ve run out of AI credits, don’t worry, you still have a few options to keep your AI features running smoothly. Why this happens Each Discourse site comes pre-configured with our CDCK Hosted LLM model that is alloted a daily credit balance based on your hosting plan. Once those credits are consumed, any AI features relying on the hosted LLM will pause until credits reset the following day. Options Upgrade your plan for more credits Upgradi…

---

1. Large Language Model ↩︎

[mcmcclur (Mark McClure)]

Ist das CDCK Hosted Small LLM über eine API für selbst gehostete Discourse-Instanzen verfügbar? Wenn ja, würde ich vermuten, dass damit eine Gebühr verbunden ist.

[Falco]

@mcmcclur

Ist das CDCK Hosted Small LLM über eine API für selbst gehostete Discourse-Instanzen verfügbar?

Nein, das ist es nicht, und wir haben nicht vor, dies zu ändern.

Für selbst gehostete Instanzen sind Optionen wie die kostenlose Stufe von Gemini oder OpenRouter eine großartige Alternative.

[westes (Will)]

Ist die KI-Zusammenfassungsfunktion nur für den Hauptbeitrag eines Themas verfügbar? Es wäre nützlich, diese Funktion auch für eine lange und komplexe Antwort innerhalb eines Threads zu haben.

Die Starter-Stufe verfügt über 15.000 tägliche „KI-Gutschriften“. Was entspricht einer Gutschrift? Ist das ein einzelnes Token in einer Antwort? Es wäre nützlich, wenn Sie am Ende jeder KI-Zusammenfassung anzeigen würden, wie viele Gutschriften sie verbraucht hat.

[Falco]

@westes

Ist die KI-Zusammenfassungsfunktion nur für den Hauptbeitrag eines Themas verfügbar? Es wäre nützlich, dies für eine lange und komplexe Antwort innerhalb eines Threads zu haben.

Zusammenfassen fasst bereits ein ganzes Thema zusammen.

@westes

Die Starter-Stufe verfügt über 15.000 tägliche „KI-Guthaben“. Was entspricht einem Guthaben? Ist das ein einzelnes Token in einer Antwort?

1 „KI-Guthaben“ entspricht einem Token, entweder in der Anfrage oder in der Antwort.

Zum Beispiel verbrauchte die Zusammenfassung dieses Themas vor meiner Antwort 1550 Tokens.

@westes

Es wäre nützlich, wenn Sie am Ende jeder KI-Zusammenfassung anzeigen würden, wie viele Guthaben sie verbraucht hat.

Wir haben eine Administrator-Nutzungsseite, die sehr detaillierte Berichte über die Token-Nutzung enthält. Ich empfehle, diese zu verwenden.

[westes (Will)]

Die Zusammenfassung des gesamten Themas ist nützlich, aber das ist nicht der Fall, den ich besprochen habe. In einem Thema mit 150 Antworten lese ich eine bestimmte lange und komplizierte Antwort. Ich möchte, dass diese eine Antwort von einer KI zusammengefasst wird. Wir haben das jetzt auf Twitter und es ist eine fantastische und nützliche Funktion.

Wenn eine einzelne KI-Zusammenfassung 1500 KI-Credits kostet und wir nur 15.000 Credits pro Tag erhalten, bedeutet das, dass nur 10 Personen eine KI-Zusammenfassung anfordern müssen und wir alles aufgebraucht haben. Das macht die Funktion nicht sehr nützlich.

[Falco]

@westes

Die Zusammenfassung des gesamten Themas ist nützlich, aber das ist nicht der Fall, den ich besprochen habe. In einem Thema mit 150 Antworten lese ich eine bestimmte Antwort, die lang und kompliziert ist. Ich möchte, dass diese eine Antwort von einer KI zusammengefasst wird. Das haben wir jetzt auf Twitter, und es ist eine fantastische und nützliche Funktion.

Sie können einen beliebigen Text in einem Beitrag auswählen und auf „KI fragen“ klicken und dann die benutzerdefinierte Eingabeaufforderung verwenden, um eine Zusammenfassung anzufordern.

@westes

Wenn eine einzelne KI-Zusammenfassung 1500 KI-Credits kostet und wir nur 15.000 Credits/Tag erhalten, bedeutet das, dass nur 10 Personen eine KI-Zusammenfassung anfordern müssen und wir alles aufgebraucht haben. Das macht die Funktion nicht sehr nützlich.

Das ist das kostenlose Kreditkontingent für unseren Plan für weniger als 1 $ pro Tag, ja.

Wir bieten auf höheren Plänen mehr Credits an und erlauben allen Plänen, Drittanbieter-LLMs zu verwenden, wenn sie eine höhere Nutzung aufrechterhalten müssen.

[westes (Will)]

Wenn ich also von 20 /Monat auf 100 /Monat umsteige, erhalte ich jetzt 30.000 KI-Credits pro Tag, und nur 20 Benutzer, die die Funktion nutzen, erschöpfen meine Credits? Ich denke, dies ist kein tragfähiges Wirtschaftsmodell für eine Funktion, die auf meinen Diskussionsseiten zu einer Ware geworden ist.

[keegan (Keegan George)]

Hallo @westes,

Ich verstehe dich. Ich kann nachvollziehen, warum sich die Kreditlimits anfangs einschränkend anfühlen mögen.

Ein paar Dinge, die helfen könnten, dies ins rechte Licht zu rücken:

Credits werden täglich aufgefüllt, sodass du alle 24 Stunden neue 15.000 (Starter) oder 30.000 (Pro) erhältst. In der Praxis ist es ziemlich unwahrscheinlich, dass 20 verschiedene Benutzer am selben Tag Zusammenfassungen anfordern, insbesondere da wir Caching verwenden. Sobald ein Thema zusammengefasst wurde, sehen nachfolgende Benutzer die zwischengespeicherte Version, ohne zusätzliche Credits zu verbrauchen. Wenn du jedoch tatsächlich ein solches tägliches Nutzungsniveau für Zusammenfassungen siehst, ist das eigentlich ein gutes Zeichen! Es bedeutet, dass dein Forum sehr aktiv ist und die Leute engagiert sind.

Wenn die Nutzung wirklich so hoch ist, bist du möglicherweise bereit für eine höhere Stufe. Die Business-Stufe (100.000 Credits) würde eine sehr aktive Community bequem unterstützen. Eine hohe Nutzung von KI-Funktionen signalisiert oft, dass du deinen aktuellen Plan auch in anderer Hinsicht überwachst.

Bevor du ein Upgrade in Betracht ziehst, können auch benutzerbezogene Kontingente helfen. Das LLM-Kontingentsystem ermöglicht es dir, die Nutzung nachhaltiger auf deine Benutzer zu verteilen, sodass einige Power-User nicht alles früh am Tag aufbrauchen.

Wenn das immer noch nicht hilft, sind möglicherweise Drittanbieter-LLMs besser für deinen Anwendungsfall geeignet. Du kannst deinen eigenen LLM-Anbieter (OpenAI, Anthropic, Gemini usw.) anschließen. Du würdest separat dafür bezahlen, aber es gibt dir mehr Kontrolle und könnte bei hoher Nutzung wirtschaftlicher sein.

Wir versuchen, eine sofort einsatzbereite Option anzubieten, die für die meisten Kunden gut funktioniert, ohne den Aufwand von API-Schlüsseln oder separater Abrechnung. Aber du bist nicht darauf beschränkt, sie zu nutzen. Sie soll hilfreich sein, und wenn sie sich zu einschränkend anfühlt, ist der Wechsel zu einem Drittanbieteranbieter absolut gültig und wir unterstützen dies voll und ganz.