KI + Automatisierungs-Governance: Koordination unabhängiger KI-Triage-Skripte

Ich erstelle KI-gesteuerte Automatisierungen mit unabhängigen KI-Triage-Skripten (z. B. Spam-Prüfung, Tag-Bestimmung). Diese laufen derzeit parallel, was ineffizient ist. Ich muss sie „verkettet“, sodass beispielsweise das Tag-Skript nur ausgeführt wird, wenn das Spam-Skript den Inhalt nicht markiert.

Wie kann ich diese Skripte für einen logischeren Workflow steuern und orchestrieren? Insbesondere, wie kann ich diese Skripte bedingt verketten?

2 „Gefällt mir“

Können Sie den vollständigen Ablauf beschreiben, den Sie anstreben? Würden Sie dies auf einem separaten Server ausführen oder möchten Sie, dass dies in Discourse ausgeführt wird?

KI-Workflows sind etwas, worüber wir viel nachdenken. Die Fähigkeit, Ketten zu definieren, ist der Schlüssel zu Workflows. Dem stimme ich vollkommen zu.

Soweit ich das beurteilen kann, können die meisten meiner Anwendungsfälle in Discourse mit KI-Triage und Automatisierung erledigt werden, wenn man sie nacheinander auslösen kann.

Hier ist ein hypothetischer Ablauf, bei dem jeder Schritt den Beitragsinhalt und eine Aufforderung an das LLM sendet:

  1. Auf Spam prüfen
  • Wenn Spam, dann ausblenden und markieren
  1. Wenn kein Spam, Produkte bestimmen, über die gesprochen wird
  • Produkt-Label hinzufügen
  1. Als Nächstes die Absicht bestimmen:
    ** Beschwerde
    ** Frage
    ** Vorschlag
    ** Informationsaustausch
    ** Positives Feedback
  • Intent-Tag hinzufügen
  1. Wenn die Absicht „Beschwerde“ ist, dann auf brisante Themen prüfen: d. h. enthält brisante Phrasen (kündigen, schrecklich, langsam)
  • Wenn brisantes Thema, „heiß“-Tag hinzufügen und Sam zuweisen
  1. Wenn die Absicht „positives Feedback“ und das Produkt „Wireless-Telefonplan“ ist, eine benutzerdefinierte Einladung zum Empfehlungsprogramm schreiben und als PM senden.
2 „Gefällt mir“

Das ist großartig und ein sehr interessanter Anwendungsfall.

Benutzerdefinierte Tools unterstützen jetzt bereits Skripting, sodass wir ein großartiges Mittel für diese Art von Änderung haben.

Ich denke an Persona + erzwungene Toolnutzung – dann können wir vom Tool aus den Ablauf ausführen, da wir bereits die gesamte Infrastruktur dafür haben. Wir müssen benutzerdefinierten Tools nur die Möglichkeit geben, andere LLM-Aufrufe auszulösen, was relativ einfach hinzuzufügen ist.

Interessanterweise können benutzerdefinierte Tools, da sie REST-Aufrufe unterstützen, den gesamten Ablauf ausführen (und einfach die Discourse-REST-API verwenden, um dies zu verdrahten).

Ich werde am Wochenende darüber nachdenken und nächste Woche erneut antworten, wie ich denke, dass wir das schaffen können.

Automatisierungsverkettung ist hier ebenfalls ein sehr interessanter Ansatz. @j.jaffeux, haben Sie über dieses Problem nachgedacht?

2 „Gefällt mir“

Das erinnert mich an die IFTT/Zapier-Aktionsketten. Ich denke, wir könnten viele ihrer UI/UX-Elemente übernehmen, wenn wir so etwas aufbauen.

Hallo @Cloud_spanner, ich versuche, das hier zu verstehen und möchte den tatsächlichen Ablauf hier etwas genauer ausarbeiten. Können Sie mir bei einigen Antworten auf die Fragen helfen? 5.

  1. Welche Beiträge sollten gescannt werden?

    1. Jeder neue Beitrag im Forum?
    2. Jedes neue Thema – z. B. Beitrag Nr. 1 – im Forum?
    3. Was ist mit Bearbeitungen? Soll jede Bearbeitung gescannt werden? In welcher Frequenz? (10-Minuten-Debounce)
    4. Was ist mit Benutzern mit hohem Vertrauen? Leute, die bereits zweimal im Forum gepostet haben?
  2. Absicht

    1. Soll es für ALLE Themen gelten? ALLE Beiträge?
    2. Was ist, wenn bereits ein Absichts-Tag vorhanden ist?
    3. Kann ein Thema mehr als 1 Absicht haben (ist dies eine Tag-Gruppe?)
  3. Wenn die Absicht manuell sein kann, sollten auch manuell getaggte Elemente auf „Hot Button“ gescannt werden?

    1. Ist hot ein unsichtbarer oder sichtbarer Tag?

Insbesondere denke ich hier an:

  1. Enthält der „Workflow“ Abkürzungen, bei denen bestimmte Beiträge einfach Schritte überspringen und zum nächsten übergehen?
  2. Wie vermeiden wir Feedbackschleifen und Randfälle?
  1. Jedes neue Thema sollte einen KI-Triage-Workflow auslösen. Bearbeitungen können ignoriert werden.

  2. Um es klarzustellen, ich verwende “Absicht”, um den Workflow zu veranschaulichen, daher sollte er nicht als fest codierter Ablauf betrachtet werden. Der Punkt, den ich machen möchte, ist, dass es keinen Grund gibt, den “Absichts”-Workflow zu starten, wenn der erste Triage-Workflow ihn für unnötig hält. +1 für das IFTTT-Workflow-Konzept.

Absicht und “hot” wären in diesem Beispiel unsichtbare Tags, die nur für Moderatoren und Administratoren sichtbar sind.

Es sollte ein Absicht-Tag pro Beitrag geben.

  1. Ich denke, der Einfachheit halber können wir manuell getaggte Beiträge ignorieren.

Ja.

Was ist, wenn ein privater Tag verwendet wird, um anzuzeigen, dass der Workflow für dieses Thema ausgeführt wurde? Und dann kann er für zukünftige Ausführungen ignoriert werden.

Ein weiterer Gedanke ist, dass es mit der erhöhten Fähigkeit der LLM-“Argumentation” + großen Kontextfenstern besser wäre, strukturierte Ausgaben im Discourse Automation-Fenster zu ermöglichen. Die IFTTT-Logik könnte dann auf eine einzige Automatisierung angewendet werden, anstatt mehrere Automatisierungen zu verketten. Stellen Sie sich vor, es gäbe die Möglichkeit, eine Automatisierung zu haben, aber viele “Text suchen”-Aktionen.

2 „Gefällt mir“

Ich habe darüber nachgedacht, wie wir dies in unserem aktuellen System lösen können, und eine sehr attraktive Option ist die Einführung eines neuen Automatisierungstyps:

triage_using_custom_tool

Wir haben bereits das System für benutzerdefinierte Tools:

Wir können ihm dann einige weitere Funktionen wie llm.generate und topic.close, topic.tag und so weiter zur Verfügung stellen, die das Tool zur Ausführung dieser Arten von Workflows verwenden könnte.

Ein weiterer Vorteil ist, dass Sie es sogar testen könnten, was die Abstimmung erleichtern würde.

1 „Gefällt mir“

Das klingt nach einer großartigen Idee. Ich bin noch relativ neu im Discourse-Ökosystem, also werde ich mich mit den benutzerdefinierten Werkzeugen und auch damit beschäftigen, wie Funktionsanfragen in die Produktion gelangen.

2 „Gefällt mir“

Ich habe gute Nachrichten: Ihr Workflow funktioniert jetzt mit benutzerdefinierten Tools!

Die Idee ist, dass Sie ein einziges benutzerdefiniertes Tool mit allen Parametern definieren würden:

is_spam, intent, hot, requires_invite

Dann würden Sie auf triage using persona klicken, um das Tool aufzurufen, und das Tool würde alle Aktionen ausführen (derzeit über die Discourse API, aber wir können im Laufe der Zeit weitere integrierte Funktionen bereitstellen).

Eine gute Einführung, wie all diese Dinge zusammengefügt werden können, finden Sie hier:

1 „Gefällt mir“