Discourse AI - KI-Nutzung

[Saif (Saif Murtaza)]

Dieser Leitfaden behandelt die Seite zur KI-Nutzung, die Teil des Plugins Discourse AI ist.

Erforderliche Benutzerebene: Administrator

Die Seite zur KI-Nutzung wurde für Administratoren entwickelt, um zu verstehen, wie die Community die Funktionen von Discourse AI im Laufe der Zeit nutzt. Dies kann hilfreich sein in Estimating costs of using LLMs for Discourse AI.

Funktionen

• Zeithorizont: letzte 24 Stunden, letzte Woche, letzter Monat und benutzerdefinierter Zeitraum
• Auswählbar nach Discourse AI-Funktion
• Auswählbar nach aktivierten LLMs
• Zusammenfassungsvorschau
  • Gesamte Anfragen: Alle Anfragen, die über Discourse an LLMs gesendet wurden
  • Gesamt-Tokens: Alle Tokens, die beim Prompten eines LLM verwendet wurden
  • Anfrage-Tokens: Tokens, die verwendet werden, wenn das LLM versucht zu verstehen, was Sie sagen
  • Antwort-Tokens: Tokens, die verwendet werden, wenn das LLM auf Ihre Eingabeaufforderung antwortet
  • Cache-Lese-Tokens: Zuvor verarbeitete Anfrage-Tokens, die das LLM aus dem Cache wiederverwendet, um die Leistung und Kosten zu optimieren
  • Cache-Schreib-Tokens: Anfrage-Tokens, die für eine mögliche zukünftige Wiederverwendung im Cache gespeichert wurden
  • Geschätzte Kosten: Kumulierte Kosten aller von den LLMs verwendeten Tokens, basierend auf den angegebenen Kostenmetriken, die zu den LLM-Konfigurationen hinzugefügt wurden
• Interaktives Balkendiagramm, das die Token-Nutzung anzeigt
• Token-, Nutzungsanzahl- und geschätzte Kosten pro Discourse AI-Funktion
• Token-, Nutzungsanzahl- und geschätzte Kosten pro LLM
• Token-, Nutzungsanzahl- und geschätzte Kosten pro Benutzer

Aktivierung der KI-Nutzung

Voraussetzungen

Damit Daten angezeigt werden, müssen Sie mindestens ein Large Language Model (LLM) von einem Anbieter konfigurieren und Mitglieder müssen die Discourse AI-Funktionen nutzen.

Um zu beginnen, können Sie LLMs über die Einstellungsseite Discourse AI – Large Language Model (LLM) konfigurieren.

• OpenAI
• Anthropic
• Azure OpenAI
• AWS Bedrock
• Google Gemini
• Mistral
• Groq
• SambaNova
• Open Router
• Cohere
• HuggingFace
• vLLM / Self-Hosting eines OpenSource LLM

Konfiguration

1. Gehen Sie zu den Einstellungen unter Admin → Plugins → AI → Registerkarte Settings und stellen Sie sicher, dass es aktiviert ist (discourse ai enabled)
2. Navigieren Sie innerhalb des AI-Plugins zur Registerkarte Usage

Technisches FAQ

Was sind Tokens und wie funktionieren sie?

• Tokens sind die Grundeinheiten, die LLMs zum Verstehen und Generieren von Text verwenden. Nutzungsdaten können die Kosten beeinflussen. Schauen Sie in Schätzung der Kosten für die Verwendung von LLMs für Discourse AI, um mehr zu erfahren.