Dieser Leitfaden erklärt, wie Sie Nutzungsquoten für Large Language Models (LLMs) in Discourse AI konfigurieren und verwalten.
Erforderliches Benutzerniveau: Administrator
Zusammenfassung
LLM-Nutzungsquoten ermöglichen es Administratoren, den Verbrauch von KI-Ressourcen zu steuern und zu überwachen, indem sie Grenzwerte für die Token-Nutzung und Interaktionen für verschiedene Benutzergruppen festlegen. Dies hilft, Kosteneffizienz zu wahren und gleichzeitig einen fairen Zugang zu KI-Funktionen für Ihre Community zu gewährleisten.
Konfiguration
Zugriff auf Quoteneinstellungen
- Navigieren Sie zum Admin-Panel Ihrer Website
- Gehen Sie zu
Admin > Plugins > Discourse AI > LLM Models - Wählen Sie das LLM-Modell aus, das Sie konfigurieren möchten
Einrichten von Quoten
Für jede Benutzergruppe können Sie konfigurieren:
- Maximale Token-Nutzung
- Und/Oder Maximale Anzahl von KI-Interaktionen
- Dauer des Zurücksetzungszeitraums
Daueroptionen
Wählen Sie aus voreingestellten Zurücksetzungszeiträumen:
- 1 Stunde
- 6 Stunden
- 24 Stunden
- 7 Tage
- Benutzerdefinierte Dauer (in Stunden angegeben)
Nutzungsüberwachung
Statistiken anzeigen
Administratoren können den Token-Verbrauch und die Nutzungsverbrauch unter folgender Adresse überwachen: https://SITENAME/admin/plugins/discourse-ai/ai-usage
- Navigieren Sie zu
Admin > Plugins > Discourse AI - Wählen Sie die Registerkarte “Nutzung”
- Filtern Sie nach Datumsbereich, Benutzergruppe oder spezifischen Metriken
Benutzererfahrung
Quotenbenachrichtigungen
Benutzer erhalten klares Feedback, wenn sie sich den Quotenlimits nähern oder diese erreichen:
- Aktueller Nutzungsstatus
- Zeit bis zur nächsten Quotenrücksetzung
Fehlermeldungen
Wenn eine Quote überschritten wird, sehen Benutzer:
- Eine klare Benachrichtigung, dass das Quotenlimit erreicht wurde
- Die verbleibende Zeit bis zur nächsten Quotenrücksetzung
Best Practices
- Beginnen Sie konservativ: Beginnen Sie mit niedrigeren Quoten und passen Sie diese basierend auf den tatsächlichen Nutzungsmustern an
- Gruppenbasierte Zuweisung: Weisen Sie unterschiedliche Quoten basierend auf den Bedürfnissen und Rollen der Benutzergruppen zu
- Regelmäßige Überwachung: Überprüfen Sie Nutzungsmuster, um Quoteneinstellungen zu optimieren
- Klare Kommunikation: Informieren Sie Benutzer über Quotenlimits und Zurücksetzungszeiträume
Häufige Probleme und Lösungen
Problem: Benutzer erreichen häufig Limits
Lösung: Erwägen Sie:
- Erhöhung der Quotenlimits für bestimmte Gruppen
- Verkürzung des Zurücksetzungszeitraums
- Erstellung spezialisierter Gruppen für Benutzer mit hoher Nutzung
Problem: Unbenutzte Quoten
Lösung:
- Passen Sie die Limits nach unten an, um die Ressourcenzuweisung zu optimieren
- Überprüfen Sie die Gruppenzuweisungen, um sicherzustellen, dass die Quoten den Benutzerbedürfnissen entsprechen
FAQs
F: Können Quoten vorübergehend ausgesetzt werden?
A: Ja, Administratoren können die Quotenüberwachung für bestimmte Gruppen oder die gesamte Website vorübergehend deaktivieren.
F: Werden ungenutzte Quoten übertragen?
A: Nein, Quoten werden am Ende jedes Zeitraums vollständig zurückgesetzt.
F: Können verschiedene LLM-Modelle unterschiedliche Quoten haben?
A: Ja, Quoten können für jedes LLM unabhängig konfiguriert werden.
F: Was passiert, wenn mehrere Quoten für ein einzelnes LLM festgelegt werden?
A: Quoten sind gruppenbasiert und werden pro Benutzer angewendet. Damit ein Benutzer eine Quote überschreitet, muss der Benutzer die Quote in allen Gruppen überschreiten. Das bedeutet, dass, wenn Sie Administratoren eine sehr lockere Quote und Vertrauensstufe 1 eine restriktivere geben, die Admin-Quote für Administratoren gilt.
F: Was passiert, wenn für ein LLM keine Quote angewendet wird?
A: Es passiert nichts Besonderes, die gesamte LLM-Nutzung wird nicht gemessen.
F: Was ist, wenn ich unterschiedliche Quoten für verschiedene Funktionen wünsche?
A: Discourse AI ermöglicht es Ihnen, mehrere LLMs zu definieren, die alle mit demselben Endpunkt verbunden sind und sogar Schlüssel wiederverwenden können. Wenn Sie eine Quote für den KI-Helfer und eine andere für den KI-Bot festlegen möchten, definieren Sie 2 LLMs.