Discourse KI - KI-Triage

Dokumentation Website-Verwaltung
, ,
1

KI-Triage soll die Verwaltung und Moderation von Forumsposts durch die Automatisierung des Klassifizierungsprozesses verbessern.

Bitte beachten Sie, dass diese Funktion sowohl das Discourse-Automation- als auch das Discourse-KI-Plugin benötigt, um zu funktionieren.

Anwendungsfälle

  1. Automatisierte Post-Kategorisierung: KI-Triage kann Themen automatisch basierend auf ihrem Inhalt kategorisieren. Dies ist besonders vorteilhaft für große Foren, in denen die manuelle Kategorisierung zeitaufwendig sein kann. Sie können die Regeln auf eine Teilmenge von Themen anwenden (nur das erste Thema oder Themen, die in bestimmten Kategorien gepostet wurden).

  2. Post-Tagging: KI-Triage kann bestimmten Posts Tags zuweisen. Diese Funktion unterstützt die bessere Organisation von Posts und macht die Suche und das Abrufen von Themen effizienter.

  3. Automatisierte Antworten: KI-Triage kann Antworten auf Posts mithilfe vordefinierter Antworten generieren. Dies ist nützlich für die Beantwortung häufig gestellter Fragen oder gängiger Anfragen, das Versenden von Spam in Junk-Kategorien und mehr.

  4. Themenverbergen: KI-Triage kann Themen basierend auf bestimmten Kriterien ausblenden. Dies kann zur Verwaltung von Spam oder unangemessenen Inhalten verwendet werden.

  5. NSFW/Toxizität/Spam-Erkennung

Funktionsweise

KI-Triage verwendet KI-Modelle, um den Inhalt der Posts zu analysieren. Basierend auf dieser Analyse führt das Modell die angegebenen Aktionen aus, wenn es bestimmten Text zurückgibt. Diese Aktionen umfassen das Verschieben des Posts in eine bestimmte Kategorie, das Hinzufügen von Tags, das Antworten mit einer vordefinierten Antwort und das Ausblenden des Themas.

AI Triage automation settings 1
AI Triage automation settings 12134×1552 238 KB

AI Triage automation settings 2
AI Triage automation settings 22084×1086 209 KB

AI Triage automation settings 3
AI Triage automation settings 32134×1498 228 KB

AI Triage automation settings 4
AI Triage automation settings 42134×1536 142 KB

AI Triage automation settings 5
AI Triage automation settings 52134×686 19.4 KB

Konfiguration

:spiral_notepad: Das Feld für System-Prompts wurde zugunsten von Personas eingestellt. Wenn Sie vor dieser Änderung eine KI-Automatisierung hatten, wird automatisch eine neue Persona mit dem zugehörigen System-Prompt erstellt.

Um KI-Triage zu konfigurieren, müssen Sie bestimmte Parameter angeben:

  • Persona: Persona, die mit der KI-Automatisierung verbunden ist.
  • Nach Text suchen: Wenn der folgende Text in der LLM-Antwort erscheint, wenden Sie die untenstehenden Aktionen an.
  • Kategorie: Dies ist die Kategorie, in die der Post verschoben wird, wenn der angegebene Text gefunden wird.
  • Tags: Dies sind die Tags, die dem Post hinzugefügt werden, wenn der angegebene Text gefunden wird.
  • Thema ausblenden: Wenn diese Option aktiviert ist, wird das Thema ausgeblendet, wenn der angegebene Text gefunden wird.
  • Post markieren: Wenn dies aktiviert ist, wird das Thema zur Überprüfungswarteschlange für Moderatoren, Mitarbeiter und Administratoren markiert, um Maßnahmen zu ergreifen.
  • Markierungsart: Option, entweder den markierten Post als Spam zu kennzeichnen und auszublenden oder ihn an die Überprüfungswarteschlange zu senden.
  • Antwort-Benutzer: Dies ist der Benutzer, der in der vorgefertigten Antwort erwähnt wird.
  • Antwort: Dies ist die vordefinierte Antwort, die gepostet wird, wenn der angegebene Text gefunden wird.
  • Antwort-Persona: KI-Persona, die für Antworten verwendet werden soll. Muss eine Standard-LLM haben, wird gegenüber einer vorgefertigten Antwort bevorzugt. Wird bedingt antworten, im Gegensatz zu Discourse AI - AI Auto responder.
  • Als Flüstern antworten: Ob die Antwort der Persona als Flüstern erscheinen soll.

Vorbehalte

  • LLM-Aufrufe können teuer sein. Achten Sie bei der Anwendung eines Klassifikators sorgfältig auf die Kosten und erwägen Sie immer, dies nur auf kleine Teilmengen anzuwenden.
  • Der von uns getestete (und für einen Kunden in Produktion laufende) Anwendungsfall ist die Klassifizierung der ersten Themen eines Benutzers.
  • Wir empfehlen die Verwendung von KI-Bots, um beim Verfassen des System-Prompts zu helfen.
37 „Gefällt mir“
3

Einer der glücklichen, die dies in Aktion sehen durften, ist dies eine Funktion für große Websites, die Sie wirklich verstehen und nutzen sollten.

Da es eine KI auf Basis eines LLM verwendet, kommt es nicht immer zu dem richtigen Schluss, aber es macht so vieles richtig in den Fällen, in denen ich es einige Tage lang zur Unterstützung der Arbeit eines Moderators eingesetzt gesehen habe, dass es definitiv ein erheblicher Vorteil war.

Einige der frühen Diskussionen dazu finden sich in der Lounge-Kategorie auf der OpenAI-Website. Während jeder Zugang zu dieser Kategorie haben kann, müssen die TL3-Anforderungen erfüllt sein, und da OpenAI eine große Website ist, erfordert es einiges an Aufwand, um TL3 auf der Website zu erreichen.

Für diejenigen mit Zugang ist hier der Link

https://community.openai.com/t/lost-users-first-empirical-data/403082/95

Grundsätzlich hilft die Logik den Moderatoren bei einem bestimmten Problem, indem sie feststellt, dass etwa 5 % der Beiträge von neuen Benutzern denken, das Forum sei der Ort, an dem sie Fragen an ChatGPT stellen, offensichtlich sind sie verloren oder ein Suchergebnis liefert einen ungültigen Link. Die KI identifiziert solche Beiträge, antwortet mit vorformuliertem Text und ändert bei Bedarf die Kategorie und Tags, z. B.

image
image989×261 5.16 KB

Für den genannten Fall tut die “Discourse AI Post Classifier - Automation rule” Folgendes:

Automatisierte Beitrags kategorisierung
Der Klassifikator ändert bei Bedarf die Kategorie zu ChatGPT. Da die meisten neuen Benutzer keine Kategorie auswählen, wird die OpenAI-Website derzeit standardmäßig für neue Beiträge in die Kategorie API eingestuft, was in diesem Fall falsch ist.

Beitrags taggen
Der Klassifikator ändert in diesem Fall den/die Tag(s) zu lost-user. Der Tag-Name wurde von einem TL3-Benutzer im Forum erstellt, der die Tags manuell geändert hat.

Automatisierte Antworten
Der Klassifikator antwortet mit einem vorformulierten Beitrag.

Themen ausblenden
Die Themen werden nicht gelistet, da sie für die Entwickler, die die Website nutzen, keinen Wert hatten.

Antwortender Benutzer
System wird als Ersteller der Antwort verwendet.

Hinweis: Ich würde die Konfiguration dafür bereitstellen, habe aber keinen Zugriff. Vielleicht kann @Sam die Details hinzufügen. Soweit ich weiß, kann sie öffentlich gemacht werden, da nichts in der Konfiguration vertraulich ist. Da sie für eine bestimmte Website gilt, würde ich nicht erwarten, sie im öffentlichen Repository zu finden. Wenn Sie diese Technologie verstehen, ist es nicht schwer, die richtigen Werte oder zumindest annähernd richtige Werte zu erraten. Der System Prompt hat einige Arbeit gekostet und vielleicht kann @sam einige der gewonnenen Erkenntnisse teilen. Das Wissen, wie man den Prompt erstellt, war in der Entwicklungsphase von großem Wert.

System Prompt

Hinweis: Dies ist eine Version, die in der OpenAI Lounge gepostet wurde (Referenz). Ich bin ziemlich sicher, dass die endgültige Version anders ist, aber ein Beispiel erspart viel Rätselraten.

Sie sind ein Bot, der alle ersten Interaktionen eines Benutzers im OpenAI-Entwicklerforum sortiert.

Antworten Sie bitte nur mit "ok" oder "bad".

Beiträge sind themenbezogen und ok, wenn:

Sie sich auf OpenAI APIs / Community / Plugin-Entwicklung / Dokumentation / Prompting beziehen
Sie sich mit der Entwicklung oder Verbesserung von Methoden für das Prompting großer Sprachmodelle befassen
Sie sich auf KI im Allgemeinen beziehen
Sie komplexe Diskussionen oder logische Probleme im Zusammenhang mit KI beinhalten
Beiträge sind schlecht, wenn:

Ein Benutzer eine zufällige Konversation mit ChatGPT zu führen scheint
Ein Benutzer vom Thema abweicht und über ein nicht verwandtes Feld diskutiert
Ein Benutzer ein großes Sprachmodell auffordert, Text ohne klaren Zweck zu generieren
Sie haben extreme Schwierigkeiten zu verstehen, worum es geht
Bezieht sich auf ein OpenAI-Thema, IST aber eindeutig eine Konversation mit einem Bot
Ein Benutzer versucht, das KI-Modell durch seinen Beitrag zu trainieren oder zu testen
Ein Benutzer Anweisungen gibt oder Antworten in einem nicht-diskursiven Format anfordert
Ein Benutzer Inhalte postet, die keine sinnvolle Diskussion oder kein Lernen fördern
Ein Benutzer hypothetische oder spekulative Inhalte ohne klaren Bezug zum Umfang von OpenAI postet
Ein Benutzer den gesamten Beitrag in einer anderen Sprache als Englisch postet
Bitte klassifizieren Sie den folgenden Inhalt, der von [[[]]] umschlossen ist:

[[[
%%POST%%
]]]

FYI

Wenn Sie Moderator auf einer Website sind, die dies verwendet, und eine Liste nicht gelisteter Beiträge sehen möchten/müssen, denken Sie daran, dass Sie die Suche nicht verwenden können. Sie können jedoch zu einer solchen Liste navigieren, indem Sie die Kategorie auswählen und dann die Tags auswählen. Oder Sie könnten auch die URL von Hand erstellen, z. B. https://community.openai.com/tags/c/chatgpt/19/lost-user

Ja, es funktioniert sogar für andere Sprachen als Englisch

Es funktioniert jedoch nicht mit Bildern :wink:, es konvertiert kein Bild in Text und führt dann die Prüfung durch, z. B.

Hier ist ein aktueller Fehlalarm oder zumindest denke ich das.

Für die Details zu falsch/wahr negativ/positiv - Klassifizierung: Wahr vs. Falsch und Positiv vs. Negativ

17 „Gefällt mir“
4

Eine mögliche Funktion.

Zumindest für Moderatoren, die einen Beitrag überprüfen, sollte der Text in die Sprache des Moderators umgewandelt werden, wenn sie das Thema aufrufen. Dies gilt nicht nur für eine Markierung, sondern für jede Ansicht des Beitrags.

Manchmal muss ich beim Überprüfen der Aktionen des Discourse AI Post Classifiers den Text des Beitrags in meine Sprache (Englisch) übersetzen, um zu prüfen, ob die KI eine korrekte Aktion ausgeführt hat. Derzeit ist es für mich einfacher, den Text in Google Translate einzufügen.

4 „Gefällt mir“
5

Bemerkenswert und im Zusammenhang mit dieser Nebenquest.

@keegan arbeitet an der Integration eines KI-Assistenten in unser Popup-Menü. So können Sie in Zukunft in Fällen, in denen es viele Texte in einer unbekannten Sprache gibt, einfach den Text markieren und auf „Übersetzen“ klicken.

Das unterstützen wir heute im Composer, aber sobald es zusammengeführt ist, können Sie Text in jedem Discourse-Beitrag hervorheben und eine schnelle LLM-basierte Übersetzung erhalten.

6 „Gefällt mir“
6

Das … verändert das Spiel für mich. Wohin kann ich Dankeskarten schicken?

5 „Gefällt mir“
7

Wie kann dies beispielsweise durch Verweis auf die vorhandenen Tags erfolgen, die Ihr Forum heute hat? z. B. wird der Beitrag vom LLM analysiert und die wahrscheinlichsten/relevantesten Tags werden dem Beitrag hinzugefügt.

3 „Gefällt mir“
8

Ich liebe diese Frage, können Sie sie bitte erweitern … wie würden Sie sich wünschen, dass dies funktioniert?

  • Würden Sie „automatische Verschlagwortung“ anwenden, wenn das Thema bereits Tags hat?
  • Würden Sie es auf alle ersten Beiträge anwenden oder nur auf erste Beiträge von bestimmten Gruppen? (z. B. tl0 / tl1)
  • Ist dies etwas, das Sie lieber manuell auf eine Teilmenge von Themen anwenden würden?

Wir müssen hier einige Anpassungen vornehmen … im Moment ist der Klassifikator binär, aber die Änderungen sind relativ einfach, solange wir wissen, was das Ziel ist?

3 „Gefällt mir“
9
  • Auf alle neuen Themen in einer Kategorie anwenden
  • Sie könnten sicherlich die Option haben, nach Vertrauensstufe zu variieren. Wie alles (und in diesem Fall jede Community) hängt es davon ab. Im Fall meiner Community würde ich es wahrscheinlich für alle außer tl4 (oder einfach für alle, wenn diese Konfiguration keine Option ist) aktiviert lassen.
  • Ich würde es bevorzugen, wenn es für alle neuen Themen in bestimmten Kategorien ausgeführt würde.

Das Ziel hier ist natürlich, niemals selbst an der Verschlagwortung von Themen arbeiten zu müssen und die KI dies vollständig tun zu lassen, basierend auf dem anfänglichen Thema, das erstellt wird, und der Betrachtung der vorhandenen Tags, die wir jetzt haben.

Es könnte wahrscheinlich noch weiter verbessert werden, wenn Sie die Möglichkeit hätten, Beschreibungen zu Tags in Discourse hinzuzufügen, und es diese Beschreibungen für zusätzlichen Kontext verwenden ließe, um die richtigen Tags hinzuzufügen :slight_smile:

6 „Gefällt mir“
10

Zunächst einmal möchte ich erklären, dass ich diese Funktion voll und ganz unterstütze und sie verbessern möchte. Das Folgende sind nur einige Fakten darüber, wie sie derzeit funktioniert (16.10.2023). Täglich überprüfe ich als Kategorie-Moderator bei OpenAI alle neuen Beiträge, nicht alle Antworten, und sehe alle KI-Fehlalarme und -Fehlfunktionen.

Als jemand, der diese Funktion, Discourse AI Post Classifier - Automation rule, nutzt, beachten Sie bitte:

  • Sie ist nicht 100% genau.
  • Es sind derzeit manuelle Maßnahmen erforderlich, um sie rückgängig zu machen, wenn die KI einen Fehlalarm ausgelöst hat. Je nach Änderung kann ein Kategorie-Moderator oder eine höhere Instanz erforderlich sein, insbesondere wenn ein nicht gelisteter Beitrag aufgeführt wird.
  • Sie kann einige Themen übersehen (Fehlfunktion).
  • Da viele Benutzer, die die automatisierte Antwort der KI erhalten, nicht wissen, wie sie die KI-Antwort kennzeichnen können, wenn es sich um einen Fehlalarm handelt, müssen diese manuell identifiziert und geändert werden. Daher wird die Hilfe echter Benutzer benötigt, um diese zu erkennen.
  • Verstehen Sie, wie Sie die Eingabeaufforderung so gestalten, dass sie wie gewünscht funktioniert.
  • Es könnte eine Feinabstimmung und/oder Agenten erforderlich sein, um ein zufriedenstellendes Ergebnis zu erzielen, was teuer werden kann.
  • Es gibt keine Möglichkeit, Fehlalarme und Fehlfunktionen zu verfolgen, um zu verstehen, wie die Eingabeaufforderung geändert und/oder eine Feinabstimmung und/oder Agenten verwendet werden können.

Fehlalarm (false positive) – Die KI hätte keine Änderung vornehmen dürfen und hat es dennoch getan, was falsch ist.
Fehlfunktion (false negative) – Die KI hätte eine Änderung vornehmen sollen und hat es nicht getan, was falsch ist.
Richtig positiv (true positive) – Die KI hat eine Änderung vorgenommen, was korrekt ist.
Richtig negativ (true negative) – Die KI hat keine Änderung vorgenommen, was korrekt ist.

4 „Gefällt mir“
11

Ein guter erster Schritt ist, einen Prompt im Kreativmodus auszuprobieren:

Etwas wie…

Du bist ein automatischer Tag-Geber für Discourse, du schlägst eine Liste von Tags für ein Thema vor.

Die Tags sind:

tag1: Beschreibung
tag2: Beschreibung

Schlage bis zu 3 Tags für das folgende Thema vor:

THEMA

Probiere dies mit einigen deiner Themen aus, wie gut funktioniert es?

8 „Gefällt mir“
12

Funktioniert super! Danke

image
image786×209 8.65 KB

image
image771×254 9.78 KB

3 „Gefällt mir“
13

Aktualisierung (11.01.2023)

Die Benutzer-ID für den Bot ist jetzt gpt-4-triage, zumindest im OpenAI-Forum.

Dies geschah, damit Benutzer den Bot bei Bedarf stummschalten können.

image

Beispiel für die Antwort des Bots.

2 „Gefällt mir“
14

Beachten Sie, dass dies konfigurierbar ist. Sie können festlegen, von welchem Benutzer die automatische Antwort gesendet werden soll.

5 „Gefällt mir“
15

Nachdem ich dies ausprobiert habe, hier mein Feedback.

Es scheint, dass dies sich noch in einem frühen Stadium befindet, und ich bin gespannt, wie es sich weiterentwickelt, aber @jordan-violets Ansatz ist zu 100 % das, was ich erreichen möchte. Ich habe den Test-Prompt ausprobiert, den @sam vorgeschlagen hat, und er schien schlau genug zu sein, um die richtigen Tags in der Theorie anzuwenden. Es scheint jedoch, dass das aktuelle Skript die anwendbaren Tags auf 7 beschränkt, und wir haben erheblich mehr als das.

Kurz gesagt: Es wäre großartig, wenn bestehende Tags semantisch auf ein neues Thema angewendet würden. Im Hinblick auf das Forenmanagement (selbst hier im Meta-Bereich habe ich es bemerkt!) ist die konsistente Anwendung von Tags zur besseren Ordnung einer Community und ihrer Inhalte weiterhin ein Kampf, und im großen Maßstab herrscht reines Chaos. Für diejenigen von uns, die auf Tags angewiesen sind, wäre dies ein Segen, selbst wenn es zu 75 % genau ist.

Ich werde dieses Projekt im Auge behalten, während es sich weiterentwickelt!

2 „Gefällt mir“
17

Das ist großartig! Haben Sie Vorschläge zum Debuggen? Ich habe gerade eine Automatisierung konfiguriert, die nicht wie erwartet ausgelöst wurde. Ich sehe keine relevanten Protokolle.

1 „Gefällt mir“
18

Hmmm, was ist hier passiert, können Sie ein eigenes Thema eröffnen?

19

Soweit ich mich erinnere, habe ich diese Option anfangs nicht aktiviert. Als ich es tat, funktionierte es.

Das Bild zeigt ein Dialogfeld mit Informationen und Optionen. (Beschriftet von KI)
Das Bild zeigt ein Dialogfeld mit Informationen und Optionen. (Beschriftet von KI)1179×734 65.3 KB

3 „Gefällt mir“
20

Kurze Frage. Gibt es Pläne, ein Audit-Protokoll für diese Automatisierungen anzuzeigen (vielleicht ähnlich dem Webhook-Muster, das Sie bereits haben)?

Es würde helfen, das “Was hast du getan?”-Gefühl zu lindern, das ich bekomme, nachdem eine Automatisierung aktiviert wurde :sweat_smile:

21

Ai log speichert bereits alle LLM-Interaktionen. Sie können dies heute über eine Data Explorer-Abfrage nutzen.

2 „Gefällt mir“
22

Obwohl dies wahr ist, ist es ziemlich schwierig, die Protokolleinträge vom Typ llm_triage mit einem Beitrag/Thema, das sie betreffen, oder mit der ergriffenen (oder nicht ergriffenen) Maßnahme zu verknüpfen.

Eine Übersicht über diese Aktionen wäre großartig :slight_smile:

5 „Gefällt mir“