Ich habe einige Berechnungen durchgeführt und bin zu dem Schluss gekommen, dass man ohne die Möglichkeit, die monatliche oder tägliche Token-Eingabe und -Ausgabe eines Benutzers zu begrenzen, schnell in Schwierigkeiten geraten kann. Derzeit ist die einzige Möglichkeit, die Interaktion eines Benutzers mit einem KI-Bot zu begrenzen, KI-Bots nur im PM (Deaktivieren des Chats für jede Persona) zuzulassen und eine Grenze für tägliche PMs festzulegen – aber das ist natürlich unrealistisch. Hier ist ein Beispiel für eine Kostenaufschlüsselung im „Worst-Case-Szenario“, die die Notwendigkeit dieser Funktion rechtfertigt, unter Verwendung des Ansatzes, den OpenAI für seine ChatGPT-Mitglieder verwendet:
GPT-4o mini mit 32k Kontext (PS: Die Kontextlänge wird über die Einstellung „Anzahl der Token für den Prompt“ auf der Seite mit den LLM-Einstellungen festgelegt)
Aktuelle Kosten: 0,15 1 Mio. Eingabe / 0,60 1 Mio. Ausgabe
Nehmen wir an, der Benutzer gibt täglich 32.000 Token ein und gibt 16.000 Token aus, und das 30 Tage lang (ein Abrechnungszyklus für ein typisches Abonnement):
Kosten der monatlichen Eingabe = 960.000 Token = ~0,14 $
Kosten der monatlichen Ausgabe = 480.000 Token = ~0,28 $
Okay, das ist eigentlich nicht schlecht, oder? Weniger als einen halben Dollar. Das ist jedoch eine ziemlich geringe Nutzung, zumal GPT-4o mini bis zu 16.400 Token in einem einzigen Durchgang generieren kann (obwohl man natürlich den Prompt und die LLM-Einstellungen so gestalten kann, dass dies verhindert wird). Sie können diese Kosten multiplizieren, je nachdem, wie viel Sie denken, dass Ihre Benutzer den KI-Bot nutzen würden. Das Schlimmste ist, dass dies ein unglaublich günstiges Modell ist; die Kosten sind exponentiell höher für Claude 3.5 Sonnet (3 1 Mio. Eingabe / 15 1 Mio. Ausgabe) und GPT-4o (5 1 Mio. Eingabe / 15 1 Mio. Ausgabe) – und reden wir gar nicht erst über GPT-4 Turbo lol. Hier ist die gleiche Aufschlüsselung für Claude 3.5 Sonnet:
Claude 3.5 Sonnet mit 32k Kontext
Kosten der monatlichen Eingabe = ~2,88 $
Kosten der monatlichen Ausgabe = ~7,20 $
Gesamt = ~10,08 $
Aber auch hier: das ist geringe Nutzung. Es wird also deutlich, wie kostspielig ein uneingeschränkter LLM-Einsatz in KI-Bots sein kann. Wenn Sie dies mit 2 multiplizieren, müssten Sie ein Abonnement von 25 verlangen, um einen Gewinn von knapp unter 5 zu erzielen 
Hier ist mein formeller Vorschlag:
- Eine Einstellung, die einer bestimmten Benutzergruppe eine bestimmte Menge an Token-Eingaben und -Ausgaben pro Monat oder Tag für KI-Bots ermöglicht.
- Diese Token-Nutzung würde den System-Prompt für die Personas NICHT einschließen.
- Token-Limits können entweder pro LLM, pro Persona oder universell/insgesamt sein.
- Alternativ zu Punkt 1 könnte eine einfache ganzzahlige Grenze für die Nutzung von KI-Bots in DMs und PMs verwendet werden. Beispiel: Limit von 100 DMs an jede Persona pro Tag.
- Eine Einstellung, die einer bestimmten Benutzergruppe eine bestimmte Menge an Token-Ausgaben pro Monat oder Tag für den KI-Helfer ermöglicht.
- Die Token-Eingabe kann nicht gezählt werden, da es unpraktisch wäre, vom Benutzer zu erwarten, dass er schätzt, wie viele Token ein langer Thread hat, wenn er beispielsweise eine Zusammenfassung erstellt.
- Es könnte auch ratsam sein, eine harte ganzzahlige Grenze für die Länge (in Wörtern, damit TikToken nicht verwendet werden muss) für benutzerdefinierte Prompts festzulegen, damit Benutzer nicht versuchen, ihre monatlichen/täglichen Limits zu umgehen, indem sie den Composer als unbegrenzten Chatbot verwenden
- Ein Token-Zähler im Profil des Benutzers und vielleicht sogar in seinen PMs und DMs. Es wäre cool, wenn neben jeder Benutzer- und KI-Nachricht ein kleiner Text angezeigt würde, der die Anzahl der Token angibt (wir wollen nicht unbedingt jedem das Debugging-Feature erlauben, und das funktioniert sowieso nur in PMs)
- Ein separater Token-Zähler für den KI-Helfer (um diese beiden Funktionen getrennt zu halten), der einen Zähler für Erklären, Korrekturlesen, benutzerdefinierter Prompt usw. teilt…
Nebenbemerkung: Ich kritisiere diese Funktion oder die Entwickler in keiner Weise und entschuldige mich, wenn dies so rüberkommt. Ehrlich gesagt ist das Discourse AI-Plugin eine meiner Lieblings-Technologien überhaupt. Tatsächlich ermöglicht es mir, mein Traumgeschäft als KI-Forscher und -Pädagoge aufzubauen, ohne zusätzliche Ingenieure einstellen und für zusätzliche Infrastruktur bezahlen zu müssen – ich kann alles selbst einrichten 
. Ich glaube lediglich, dass diese Funktion das letzte Puzzleteil ist, nicht nur für mich, sondern auch für zahlreiche andere Discourse-Nutzer, die ihren Benutzern diese wunderbare Technologie in vernünftigem Rahmen genießen lassen wollen.
Vielleicht sind Sie gehostet und haben keinen Zugriff auf mein Plugin?
. Und ich bin auf einem Droplet, das ist also nicht das Problem.
Vielmehr liegt das Problem auf meiner Seite; ich versuche, etwas ziemlich Nischenhaftes zu tun.
. Meine zwei Cents sind, dass Ihre Implementierung hier die idealste ist. Meine Community und ich schätzen die hier geleistete Arbeit wirklich sehr 
Werden Token-Limits an Abonnements gebunden sein? Es wäre großartig, wenn wir die Nutzung kontrollieren und teurere Modelle gegen Gebühr nutzen könnten.