Discourse KI - KI-Triage

Einer der glücklichen, die dies in Aktion sehen durften, ist dies eine Funktion für große Websites, die Sie wirklich verstehen und nutzen sollten.

Da es eine KI auf Basis eines LLM verwendet, kommt es nicht immer zu dem richtigen Schluss, aber es macht so vieles richtig in den Fällen, in denen ich es einige Tage lang zur Unterstützung der Arbeit eines Moderators eingesetzt gesehen habe, dass es definitiv ein erheblicher Vorteil war.

Einige der frühen Diskussionen dazu finden sich in der Lounge-Kategorie auf der OpenAI-Website. Während jeder Zugang zu dieser Kategorie haben kann, müssen die TL3-Anforderungen erfüllt sein, und da OpenAI eine große Website ist, erfordert es einiges an Aufwand, um TL3 auf der Website zu erreichen.

Für diejenigen mit Zugang ist hier der Link

https://community.openai.com/t/lost-users-first-empirical-data/403082/95


Grundsätzlich hilft die Logik den Moderatoren bei einem bestimmten Problem, indem sie feststellt, dass etwa 5 % der Beiträge von neuen Benutzern denken, das Forum sei der Ort, an dem sie Fragen an ChatGPT stellen, offensichtlich sind sie verloren oder ein Suchergebnis liefert einen ungültigen Link. Die KI identifiziert solche Beiträge, antwortet mit vorformuliertem Text und ändert bei Bedarf die Kategorie und Tags, z. B.


Für den genannten Fall tut die “Discourse AI Post Classifier - Automation rule” Folgendes:

Automatisierte Beitrags kategorisierung
Der Klassifikator ändert bei Bedarf die Kategorie zu ChatGPT. Da die meisten neuen Benutzer keine Kategorie auswählen, wird die OpenAI-Website derzeit standardmäßig für neue Beiträge in die Kategorie API eingestuft, was in diesem Fall falsch ist.

Beitrags taggen
Der Klassifikator ändert in diesem Fall den/die Tag(s) zu lost-user. Der Tag-Name wurde von einem TL3-Benutzer im Forum erstellt, der die Tags manuell geändert hat.

Automatisierte Antworten
Der Klassifikator antwortet mit einem vorformulierten Beitrag.

Themen ausblenden
Die Themen werden nicht gelistet, da sie für die Entwickler, die die Website nutzen, keinen Wert hatten.

Antwortender Benutzer
System wird als Ersteller der Antwort verwendet.

Hinweis: Ich würde die Konfiguration dafür bereitstellen, habe aber keinen Zugriff. Vielleicht kann @Sam die Details hinzufügen. Soweit ich weiß, kann sie öffentlich gemacht werden, da nichts in der Konfiguration vertraulich ist. Da sie für eine bestimmte Website gilt, würde ich nicht erwarten, sie im öffentlichen Repository zu finden. Wenn Sie diese Technologie verstehen, ist es nicht schwer, die richtigen Werte oder zumindest annähernd richtige Werte zu erraten. Der System Prompt hat einige Arbeit gekostet und vielleicht kann @sam einige der gewonnenen Erkenntnisse teilen. Das Wissen, wie man den Prompt erstellt, war in der Entwicklungsphase von großem Wert.

System Prompt

Hinweis: Dies ist eine Version, die in der OpenAI Lounge gepostet wurde (Referenz). Ich bin ziemlich sicher, dass die endgültige Version anders ist, aber ein Beispiel erspart viel Rätselraten.

Sie sind ein Bot, der alle ersten Interaktionen eines Benutzers im OpenAI-Entwicklerforum sortiert.

Antworten Sie bitte nur mit "ok" oder "bad".

Beiträge sind themenbezogen und ok, wenn:

Sie sich auf OpenAI APIs / Community / Plugin-Entwicklung / Dokumentation / Prompting beziehen
Sie sich mit der Entwicklung oder Verbesserung von Methoden für das Prompting großer Sprachmodelle befassen
Sie sich auf KI im Allgemeinen beziehen
Sie komplexe Diskussionen oder logische Probleme im Zusammenhang mit KI beinhalten
Beiträge sind schlecht, wenn:

Ein Benutzer eine zufällige Konversation mit ChatGPT zu führen scheint
Ein Benutzer vom Thema abweicht und über ein nicht verwandtes Feld diskutiert
Ein Benutzer ein großes Sprachmodell auffordert, Text ohne klaren Zweck zu generieren
Sie haben extreme Schwierigkeiten zu verstehen, worum es geht
Bezieht sich auf ein OpenAI-Thema, IST aber eindeutig eine Konversation mit einem Bot
Ein Benutzer versucht, das KI-Modell durch seinen Beitrag zu trainieren oder zu testen
Ein Benutzer Anweisungen gibt oder Antworten in einem nicht-diskursiven Format anfordert
Ein Benutzer Inhalte postet, die keine sinnvolle Diskussion oder kein Lernen fördern
Ein Benutzer hypothetische oder spekulative Inhalte ohne klaren Bezug zum Umfang von OpenAI postet
Ein Benutzer den gesamten Beitrag in einer anderen Sprache als Englisch postet
Bitte klassifizieren Sie den folgenden Inhalt, der von [[[]]] umschlossen ist:

[[[
%%POST%%
]]]

FYI

Wenn Sie Moderator auf einer Website sind, die dies verwendet, und eine Liste nicht gelisteter Beiträge sehen möchten/müssen, denken Sie daran, dass Sie die Suche nicht verwenden können. Sie können jedoch zu einer solchen Liste navigieren, indem Sie die Kategorie auswählen und dann die Tags auswählen. Oder Sie könnten auch die URL von Hand erstellen, z. B. https://community.openai.com/tags/c/chatgpt/19/lost-user


Ja, es funktioniert sogar für andere Sprachen als Englisch

Es funktioniert jedoch nicht mit Bildern :wink:, es konvertiert kein Bild in Text und führt dann die Prüfung durch, z. B.

Hier ist ein aktueller Fehlalarm oder zumindest denke ich das.


Für die Details zu falsch/wahr negativ/positiv - Klassifizierung: Wahr vs. Falsch und Positiv vs. Negativ

17 „Gefällt mir“