KI-Bot - Personas

[Discourse]

Dieser Leitfaden erklärt, wie Sie Personas für Discourse AI - KI-Bot einrichten und verwalten.

Erforderliche Benutzerebene: Administrator

Der Discourse AI-Bot enthält ein flexibles System zur Verwaltung von Personas. Dieser Leitfaden behandelt:

• Interaktionsmethoden für KI-Personas
• Konfigurationsoptionen
• Erweiterte Einstellungen
• Unterstützte Befehle
• Anpassungsmöglichkeiten

Erfahren Sie mehr über den KI-Bot und wie Sie ihn aktivieren in diesem Leitfaden.

Was sind Personas?

Personas sind ein leistungsstarkes Feature, mit dem Sie das Verhalten der KI-Engine in Ihrem Discourse-Forum anpassen können. Sie fungieren als „Systemnachricht“, die die Antworten und Interaktionen der KI steuert und so zu einer persönlicheren und ansprechenderen Benutzererfahrung beiträgt.

Warum Personas verwenden?

Mit Personas können Sie das Verhalten der KI besser an den Kontext und Ton Ihres Forums anpassen. Egal, ob Sie möchten, dass die KI für ein professionelles Umfeld formeller, für ein Community-Forum lockerer oder sogar eine bestimmte Figur für ein Rollenspiel verkörpert, Personas bieten Ihnen die Flexibilität dazu.

Gruppenspezifischer Zugriff auf Personas

Darüber hinaus können Sie einrichten, dass bestimmte Benutzergruppen Zugriff auf spezifische Personas haben. Das bedeutet, dass Sie unterschiedliche KI-Verhaltensweisen für verschiedene Bereiche Ihres Forums haben können, was die Vielfalt und den Reichtum der Interaktionen Ihrer Community weiter verbessert.

Interaktion mit Personas

Mit Personas kann auf verschiedene Weise interagiert werden:

1. Private Nachricht (PM)
2. Chat-Direktnachricht (DM)
3. Erwähnungen in Chat-Kanälen
4. Erwähnung in einem öffentlichen Thema über @examle_bot_username

Administratoren können steuern, welche Interaktionsmethoden für jede Persona zulässig sind.

Konfiguration

Um Personas zu konfigurieren, navigieren Sie zu discourse.example.com/admin/plugins/discourse-ai/ai-personas.

Wichtige Konfigurationsoptionen sind:

• System-Prompt: Steuert die Konversation
• Vision-Unterstützung: Aktivieren für Vision-fähige LLMs, z. B. GPT-4 Turbo, Claude 3
• Standardmodell: Erforderlich für erwähnbare Personas
• Zulässige Gruppen: Definieren Sie Berechtigungen mithilfe der Discourse-Gruppensicherheit
• Uploads: Indizieren Sie Textdateien für zusätzliches Wissen (mithilfe von RAG – Retrieval-Augmented Generation)
• Aktivierte Befehle: Steuern Sie den Zugriff auf bestimmte Befehle
• Chat zulassen: Aktivieren Sie den Chat per DM (erfordert das Chat-Plugin, ein Standard-Large-Language-Model (LLM) und einen Benutzer)

Hier ist ein Blick auf einen vollständigen Konfigurationsbildschirm für KI-Personas:

Erweiterte Konfigurationsoptionen

Der Persona-Editor bietet mehrere erweiterte Optionen:

• Temperatur und top_p (Nucleus Sampling): Steuern Sie Kreativität vs. Vorhersagbarkeit
• Max. Kontext-Posts: Begrenzen Sie die Anzahl der an das LLM übergebenen Posts für den Verlauf – weniger Posts reduzieren die Kosten, führen aber dazu, dass die KI ältere Inhalte „vergisst“.
• Upload-Optionen:
  • Chunk-Tokens: Steuern Sie die Dokumentenaufteilung
  • Chunk-Überlappungs-Tokens: Legen Sie die Überlappung zwischen Chunks fest
  • Such-Konversations-Chunks: Anzahl der Dokumentfragmente, die Benutzeranfragen hinzugefügt werden
  • Fragenkonsolidierer-LLM: Wählen Sie das LLM zur Bestimmung von Benutzerfragen

Voraussetzungen für die Upload-Unterstützung

Um die Upload-Unterstützung zu nutzen:

1. Aktivieren Sie die Einstellung ai_embeddings_enabled
2. Konfigurieren Sie ein ai_embeddings_model

Discourse AI unterstützt verschiedene Embedding-Modelle. Hosted-Kunden erhalten kostenlosen Zugriff auf das Modell bge-large-en.

Self-Hosters oder Personen, die mehr Auswahl wünschen, können ein Embedding-Modell selbst hosten oder Modelle von Open AI, Google (Gemini) und anderen verwenden.

Textaufteilung in Discourse AI

Discourse verwendet einen rekursiven Zeichen-Text-Splitter, um Absätze, Zeilen und Wörter beim Aufteilen von Text zusammenzuhalten. Sie können die Textaufteilung mithilfe des Trennzeichens [[metadata YOUR METADATA HERE]] steuern:

[[metadata about cats]]
a long story about cats
[[metadata about dogs]]
a long story about dogs

Diese Methode verhindert eine „Chunk-Kontamination“, indem sichergestellt wird, dass nur relevante Daten in jedem Chunk enthalten sind.

Debugging von KI-Personas

So debuggen Sie Ihre Persona:

1. Fügen Sie Benutzer zur Gruppe hinzu, die in der Einstellung ai bot debugging enabled groups angegeben ist
2. Benutzer in dieser Gruppe sehen unten bei KI-Posts eine Schaltfläche zum KI-Debugging
3. Klicken Sie auf die Schaltfläche, um das Debugging-UI-Modal aufzurufen

Denken Sie daran: Wenn Sie einem LLM vage oder unhilfreiche Informationen geben, wird es große Schwierigkeiten haben, diese in nützliche Informationen umzuwandeln.

Unterstützte Befehle

Discourse AI unterstützt verschiedene Befehle, darunter:

• Kategorien
• Tags
• Suche
• Webbrowser
• GitHub-Integration (Code suchen, Pull-Request-Diff, Dateiinhalte)
  • Erfordert, dass die Einstellung ai bot github access token ausgefüllt ist
• Suche in Meta Discourse
• Zufallsauswahl
• Lesen
• Zeit
• Google-Suche
  • Erfordert, dass die Einstellungen ai google custom search api key und ai google custom search cx ausgefüllt sind
• Bilderzeugung über DALL-E
  • Erfordert einen OpenAI-Schlüssel
• Bilderzeugung über Stable Diffusion
  • Erfordert, dass die Einstellung ai stability api key ausgefüllt ist
  • Die Einstellung ai stability engine steuert den Algorithmus zur Bilderzeugung
• Schema
• Einstellungen suchen
• Kontext festlegen

Einige Befehle erfordern zusätzliche Konfigurationen oder API-Schlüssel.

Unterstützung für benutzerdefinierte Tools

Sie können Ihre eigenen Tools mithilfe der Unterstützung für benutzerdefinierte Tools erstellen.

Anpassen von System-Personas

1. Erstellen Sie eine neue Persona
2. Kopieren Sie den System-Prompt aus der Persona, die Sie anpassen möchten, und fügen Sie ihn ein
3. Passen Sie ihn nach Bedarf an
4. Deaktivieren Sie optional die ursprüngliche System-Persona, um Duplikate zu vermeiden

Anpassen der Suche

So passen Sie die Suche für eine neue Persona an:

1. Erstellen Sie eine neue Persona
2. Fügen Sie den Befehl „search“ hinzu
3. Konfigurieren Sie die Suchoptionen, einschließlich:
   • Basis-Suchanfrage
   • Maximale Anzahl von Suchergebnissen
   • Option „Private Themen einschließen“
     
     

Dies ermöglicht es Ihnen, Suchberechtigungen zu delegieren, die Anzahl der Ergebnisse zu erhöhen oder die Suche auf bestimmte Bereiche Ihrer Website zu beschränken.

[MachineScholar]

@Discourse

Lesen

Was genau macht das Read-Tool?

Außerdem sind Erwähnungen in Beiträgen derzeit aufgrund dieses Fehlerberichts kaputt.

[sam (Sam Saffron)]

[Untitled AI bot PM]

Kurz gesagt, es ermöglicht dem LLM, Themen und Beiträge in Ihrem Forum zu lesen.

[Jagster (Jakke Lehtonen)]

Im Grunde liest es ein Thema/einen Beitrag, wenn eine URL, ein Name oder eine ID angegeben wird, und andernfalls oder immer noch verwendet es Einbettungen und was, wann, warum und wie hängt vom Modell selbst ab, vom Auffordern usw.?

[sam (Sam Saffron)]

Oh Entschuldigung, ich habe auf einen anderen Beitrag geantwortet

Es verwendet die Themen-ID oder die Themen-ID + Beitragsnummer, um den rohen Markdown für ein Thema/einen Beitrag mit einigen Schutzmaßnahmen für die maximale Länge zu finden.

Ist nicht von Einbettungen abhängig.

[Jagster (Jakke Lehtonen)]

Ein wenig themenfremd, aber da ich nichts zu fragen habe und ihr diese Themen sowieso ab und zu aufräumt, ist es mir egal.

Automatische Titel in PMs mit KI sind jetzt in der richtigen Sprache. Nichts Großes, aber der psychologische Wert ist groß. Danke!

[jrgong]

Gibt es eine Möglichkeit, Bot-Benutzer zu einer Gruppe hinzuzufügen? Ich möchte diesen Benutzern im Grunde einen Avatar-Flair hinzufügen, aber wenn ich sie zu einer Gruppe hinzufüge, werden sie nicht angezeigt.

[Jagster (Jakke Lehtonen)]

Sie erscheinen nicht, sind aber trotzdem da. Sie können sicher sein, indem Sie versuchen, eine KI-Person ein zweites Mal hinzuzufügen. Oder Sie sehen die benötigte Gruppe in den Einstellungen dieser Pseudo-Benutzer.

[MachineScholar]

Welchen Teil des Discourse AI-Repos sollte ich mir ansehen, wenn ich genau wissen möchte, wie die Tools des KI-Bots funktionieren?

[sam (Sam Saffron)]

Tool, Playground, Bot sind alles gute Bereiche für den Anfang.

Siehe dieses Beispiel: Understanding Tools in Discourse AI System - AI Conversation - Discourse Meta

[MachineScholar]

Genau die Antwort, die ich gesucht habe – vielen Dank, freundlicher Herr! Für alle, die es betrifft: Ich empfehle, den Code in diesem Repo durchzulesen, um Ihre Prompts für die Werkzeuge Ihrer Persona besser steuern zu können.

[jrgong]

Ich versuche derzeit, alle Beiträge eines Themas über das „Lesen“-Tool abzurufen, aber es stellt dem LLM-Modell nur maximal 100 Beiträge zur Verfügung. Ich habe „Max Beiträge“ in den Persona-Einstellungen bereits auf 999 gesetzt, aber das Problem besteht weiterhin.

Könnte es eine serverseitige API-Anforderungseinschränkung geben, die das Problem verursacht?

[jrgong]

@sam Hast du eine Idee, was die Ursache sein könnte?

[MachineScholar]

Ich habe den Code nicht überprüft, aber ich vermute, dass es sich um eine harte Grenze handelt, die im Code selbst festgelegt ist. Darf ich fragen, was Sie damit erreichen wollen? Das ist hier ein Schlüsselfaktor.

Und vielleicht wäre es am besten, die Forum-Forscher-Persona zu verwenden?

[jrgong]

Wir haben die Kategorie „Journal/Log“, die oft mehrere hundert Beiträge enthält, in denen der Themenbesitzer über den Fortschritt seines Projekts über einen Zeitraum von 4-5 Monaten berichtet.

Mein Ziel ist es, alle Beiträge innerhalb dieses Themas abzurufen, sie nach Autor = Themenbesitzer zu filtern und eine Zusammenfassung zu erstellen.

[sam (Sam Saffron)]

Sie müssen dafür den Foren-Forscher verwenden, das ist der genaue Anwendungsfall für die Persona.

[jrgong]

@sam

Derzeit gibt es keine Möglichkeit, Bilder an das Forschungs-LLM zu senden. Dies wird in zukünftigen Versionen berücksichtigt.

@sam Ich würde es sehr gerne tun, aber derzeit werden keine Bilder unterstützt. Steht das auf der Roadmap oder hat es im Moment keine Priorität?

[sam (Sam Saffron)]

Sicher, ich kann das hinzufügen, keine allzu große Änderung