Fortsetzung der Diskussion von Limit # topic posts / user / month:
Hallo 
Vielen Dank für Ihr Interesse 
Für mehr Kontext: Im Jahr 2021 war mein erstes Projekt mit einem Forum in Kasachstan erfolglos, da die meisten Einwohner es vorziehen, Telegram oder WhatsApp zu nutzen. Die Einführung von Plugins für den Discourse AI Bot und Chatbot gab meiner Website eine zweite Chance, aber jetzt konzentriert sie sich ausschließlich auf die Kommunikation mit künstlicher Intelligenz (kategorisierte Anfragevorlagen, Bot-Charaktere usw.).
- Bezüglich der Kontrolle der Token-Ausgaben: Es wäre wünschenswert, ein separates Statistik-/Einstellungspanel zu haben, um die Token-Ausgaben basierend auf dem Bot-Charakter (GPT3, 3.5, 4, 4.5t und/oder Composer Assistant), mit dem interagiert wird, zu verfolgen und zu verwalten. Als Administrator habe ich bereits innerhalb eines Monats Testnutzung Token für ChatGPT-Anfragen im Wert von über 70 US-Dollar verbraucht, was für mich erhebliche Kosten verursacht. Wenn ich nun regulären Benutzern den Zugang zu Bots gewähren möchte, mache ich mir Sorgen um mein Budget, dessen Kontrolle schwierig ist.
Stellen wir uns eine Situation vor, in der ich einer bestimmten Benutzergruppe den Zugang zu KI gewähre und sage: “Nutzen Sie ihn.” Angenommen, ein Benutzer generiert genügend Anfragen an einem Tag, um mein Budget aufzubrauchen. Angenommen, ein anderer Benutzer versucht dann, eine Anfrage an die KI zu stellen und… erhält keine Antwort (nichts). Der zweite Benutzer versteht möglicherweise nicht, warum der Bot nicht geantwortet hat, geht davon aus, dass der Dienst fehlerhaft ist, und entscheidet sich für andere Dienste.
Dafür wäre ein separates Panel im Benutzer-Tab angemessen, in dem jeder Benutzer (Administrator/Moderator/regulärer Benutzer) Token-Ausgaben, Bot-Temperatur, Top (obwohl dies im Beitragseditor platziert werden kann, siehe Diagramm unten) und andere Feinabstimmungseinstellungen verfolgen und steuern kann.
Ich möchte zum Beispiel einen Schwellenwert für mich festlegen und bei Erreichen eine Benachrichtigung erhalten, um das Budget/die Token aufzufüllen. Da verschiedene KI-Modelle unterschiedliche Kosten für verbrauchte Token haben können, möchte ich die Möglichkeit haben, Token für jeden Bot für mich und andere Benutzergruppen zu begrenzen. Jeder Benutzer sollte die Möglichkeit haben, das zugewiesene Token-Limit nach eigenem Ermessen unabhängig zu verwalten, ähnlich wie ein Administrator. Es wäre auch hilfreich, einigen Benutzergruppen (Moderatoren, TL4) die Möglichkeit zu geben, die Generierungseinstellungen (Temperatur, TOP 
, etc.) fein abzustimmen.
Anstatt beispielsweise den Maximalwert von embeddings semantic related topics für alle Benutzer festzulegen, wäre es praktisch, diese Limits je nach Benutzergruppe festzulegen. So könnte die Staff-Gruppe maximal 7, reguläre Benutzer 3 und so weiter erhalten. Jeder Benutzer sollte die Möglichkeit haben, diese Werte im Benutzerpanel seines Kontos festzulegen. Dieser Ansatz würde die Nutzung von KI und die Möglichkeit, die jedem Benutzer zugewiesenen Token-Limits zu kontrollieren, demokratisieren.
Zum Beispiel könnte ai helper automatic chat thread title auch basierend auf der Benutzergruppe festgelegt werden, wobei jeder Benutzer die Wahl hat, diese Funktion im Benutzerpanel zu aktivieren/deaktivieren. ai helper model könnte ebenfalls vom Benutzer je nach Gruppe gewählt werden. Wenn ich Gruppe A die Möglichkeit gebe, zwischen GPT4t und GPT3.5t zu wählen, könnte jeder von ihnen die Wahl unabhängig treffen.
Es wäre auch möglich, privilegierten Gruppen die Möglichkeit zu geben, ihre Anfragen zu priorisieren und sie an den Anfang der Warteschlange für LLM zu senden.
Ich habe versucht, dies detaillierter zu veranschaulichen (ich habe die Illustration schnell erstellt, bitte beurteilen Sie sie nicht hart):
Hinweis: Im obigen Bild habe ich versucht, mögliche Funktionen für reguläre Benutzer darzustellen. Diese Funktionen können gesperrt sein, und um es dem Benutzer klar zu machen, wäre es angemessen, Schaltflächen zum Aktivieren von Funktionen/Erhöhen von Limits/Hinzufügen eines Bots zu haben. Diese Schaltflächen sind blau hervorgehoben, und das Klicken auf eine dieser Schaltflächen würde den Benutzer zu einer Seite weiterleiten, auf der er eingeladen wird, einer privilegierten Gruppe für mehr Funktionalität bei der Interaktion mit KI beizutreten.
2) Im Editor schlage ich vor:
-
Bots nach Typen kategorisieren (Arbeiten mit Bildern, Text, Audio usw.) und zusätzliche Anfrageeinstellungen (siehe Punkt 1 oben) innerhalb der Composer-Oberfläche.
-
Die Möglichkeit hinzufügen, die Anzahl der Zeichen für eine Anfrage basierend auf dem Bot-Charakter (als eines der Mittel zur Reduzierung der Serverlast) oder der Benutzergruppe zu begrenzen. Ich habe etwas Ähnliches hier besprochen.
-
Die Möglichkeit, eine Anfragevorlage über das vorhandene Discourse Templates Plugin oder eine mögliche zukünftige Modifikation (für die Verwendung in persönlichen Nachrichten) einzufügen, die sich derzeit in der Entwicklung befindet: Experimental Form Templates.
-
Die Möglichkeit, eine Hinweismatrix in das Texteingabefeld einzufügen (ähnlich wie Kategorie-Themenvorlagen in den Kategorieeinstellungen).
Hier ist ein Beispielbild:
Hinweis: Es wäre ratsam, die Zeichenbegrenzung am unteren Rand des Editors (wie gezeigt) im Bild anzuzeigen.
Zusätzliche Optionen (abgesehen von API-Einstellungen) im AI Persona Editor for Discourse, die dann im Nachrichten-Editor angezeigt werden:
PS. In diesen Tagen war ich etwas angeschlagen (ich bin krank), und einige meiner Vorschläge sind vielleicht etwas zerstreut und nicht ganz klar. Ich bin neu bei Discourse, habe keine Programmierkenntnisse und finde es schwierig, Informationen in diesem englischsprachigen Forum zu verstehen, wo Beiträge oft spezifische Begriffe enthalten. Daher erkenne ich an, dass meine Ideen (Vorschläge) manchmal etwas absurd sein mögen, nicht mit einigen technischen Einschränkungen von Discourse übereinstimmen. Ich verstehe auch, dass das Team seine eigene Roadmap für das Plugin haben könnte, die nicht unbedingt mit meinen Ansichten übereinstimmt. Dennoch habe ich beschlossen, diesen Beitrag zu schreiben, weil ich glaube, dass die KI-Revolution viele Benutzer für solche Dienste anziehen wird und Discourse bereits über alle technologischen Fähigkeiten verfügt, um mit KI zu interagieren, und damit den meisten auf dem Markt entstehenden Projekten voraus ist (die Tatsache, dass Open AI Discourse für sein Forum nutzt, spricht Bände). Daher ist es besser, etwas zu sagen, als nichts zu sagen. In diesem Zusammenhang betrachten Sie meinen Vorschlag als die Perspektive eines Außenseiters, einen Vorschlag von einem gewöhnlichen Benutzer (der oft soziale Netzwerke und Messenger gewohnt ist), der Klarheit und Interaktionsfunktionalität wünscht, die soziale Netzwerke und Messenger oft vermissen lassen.
Edit. Ich verstehe, dass die Implementierung einer solchen Funktionalität große Arbeits- und Kostenaufwände erfordern kann (die nicht jeder Sponsor bewältigen kann). Es könnte sich lohnen, solche Vorschläge zur Abstimmung zu stellen und/oder Crowdfunding zu organisieren.
. Ich bin sehr froh, dass Sie mich gehört haben 
