"Zur Genehmigung erforderlich"-Review-Elemente aus dem Skript „Triage-Beiträge mit KI“ des Plugins „Automation“ für Moderatoren nicht sichtbar

Fehler
, ,
1

Priorität/Schweregrad:

Mittel

Plattform:

Discourse b66fca70d0e3d12ef930398289fac5269cd240c7

Beschreibung:

Das offizielle Plugin „Automation“ verfügt über ein Skript namens „Beiträge mit KI sichten“ (Triage posts using AI). Dieses Skript bietet die Möglichkeit, Beiträge zu kennzeichnen (flaggen).

Die Art der Kennzeichnung, die durch die Automatisierung generiert wird (sowie begleitende Aktionen), kann über die Einstellung „Flag type“ (Kennzeichnungsart) des Skripts konfiguriert werden:

  • „Add post to review queue“ (Beitrag zur Überprüfungswarteschlange hinzufügen): Führt dazu, dass Kennzeichnungen den Grund „Needs Approval“ (Genehmigung erforderlich) erhalten.
  • „Flag as spam“ (Als Spam kennzeichnen): Führt dazu, dass Kennzeichnungen den Grund „Spam“ erhalten.

Da die separate Funktion zur Spam-Erkennung mit Discourse AI bereits eine qualitativ hochwertige Spam-Erkennung bietet, wird das Skript „Beiträge mit KI sichten“ oft für Aufgaben verwendet, die nichts mit Spam zu tun haben. In diesem Fall ist die Option „Add post to review queue“ am besten geeignet.

:bug: Wenn die Einstellung „Flag type“ einer Automatisierung auf eine der Optionen unter „Add post to review queue“ gesetzt ist, sind die durch die ausgelösten Kennzeichnungen erzeugten Überprüfungselemente für Moderatoren nicht sichtbar. Die Last der Überprüfung dieser Kennzeichnungen liegt dann ausschließlich bei den Forum-Administratoren, obwohl es sich um eine Moderationsaufgabe handelt.

Reproduzierbare Schritte:

  1. Melden Sie sich mit einem Admin-Konto in einem Forum an.
  2. Öffnen Sie die Admin-Seite Discourse AI > Personas (/admin/plugins/discourse-ai/ai-personas).
  3. Klicken Sie auf die Schaltfläche „+ New persona“ (+ Neue Persona).
    Die Konfigurationsseite für die Persona wird geöffnet.
  4. Fügen Sie beliebige Inhalte in die Felder „Name“ und „Description“ (Beschreibung) auf der Konfigurationsseite der Persona ein.
  5. Definieren Sie im Feld „System prompt“ (System-Prompt) einen Prompt, der geeignet ist, die Automatisierung bei einem Testbeitrag auszulösen. Zum Beispiel:
    You will be given a piece of text, and your task is to determine whether it contains the string `foobarbazquxpippoplutopaperino`.

If the post contains that string respond `true`. If the post does not contain that string, respond `false`.

Your response must consist of the text `true`, or the text `false`, and nothing else.
  6. Wählen Sie ein Modell aus dem Menü „Default language model“ (Standard-Sprachmodell) aus (z. B. „CDCK Hosted Small LLM“).
  7. Klicken Sie unten auf der Seite auf die Schaltfläche „Submit“ (Senden).
  8. Stellen Sie sicher, dass das integrierte Plugin „Automation“ aktiviert ist, falls es noch nicht aktiviert ist.
  9. Navigieren Sie zur Seite „Automations“ (Automatisierungen) des Plugins (/admin/plugins/automation/automation).
  10. Klicken Sie auf die Schaltfläche „+ Add automation“ (+ Automatisierung hinzufügen).
    Die Seite „Select a script“ (Skript auswählen) wird geöffnet.
  11. Fügen Sie der Seite zur Automatisierungskonfiguration einen beliebigen Namen im Feld „Name“ hinzu.
  12. Wählen Sie das Skript „Triage posts using AI“ (Beiträge mit KI sichten).
    Die Konfigurationsseite für die Automatisierung wird geöffnet.
  13. Wählen Sie „Post created/edited“ (Beitrag erstellt/bearbeitet) aus dem Menü When/What… > Trigger.
  14. Wählen Sie die Persona, die Sie mit den vorherigen Schritten erstellt haben, aus dem Menü Script options > Persona.
  15. Geben Sie true in das Feld Script options > Search for text (Skriptoptionen > Nach Text suchen) ein.
  16. Aktivieren Sie das Kontrollkästchen Script options > Flag post (Skriptoptionen > Beitrag kennzeichnen).
  17. Wählen Sie Add post to review queue (Beitrag zur Überprüfungswarteschlange hinzufügen) aus dem Menü Script options > Flag type (Skriptoptionen > Kennzeichnungsart).
  18. Nehmen Sie optional Anpassungen an den anderen Einstellungen der Automatisierung vor, um den Test zu erleichtern.
  19. Klicken Sie unten auf der Konfigurationsseite der Automatisierung auf die Schaltfläche „Update automation“ (Automatisierung aktualisieren).
    Sie werden zur Seite „Automations“ zurückgeleitet.
  20. Stellen Sie den Schalter „Enable automation“ (Automatisierung aktivieren) für die neu erstellte Automatisierung auf „on“ (ein).
  21. Verfassen Sie einen Beitrag oder eine Direktnachricht (DM), die die Automatisierung auslöst.
    ⓘ Mit dem oben angegebenen Beispiel-System-Prompt würde dies erreicht, indem der Text foobarbazquxpippoplutopaperino in den Beitrag aufgenommen wird.
  22. Veröffentlichen Sie den Beitrag oder die Nachricht.
  23. Navigieren Sie mit dem Admin-Konto zur Überprüfungswarteschlange (/review).
    :slightly_smiling_face: Die Automatisierung hat eine „Needs Approval“-Kennzeichnung für den Testbeitrag generiert.
  24. Melden Sie sich in einem Forum mit einem Nicht-Admin-Konto an, das über Moderatorberechtigungen verfügt.
  25. Navigieren Sie zur Überprüfungswarteschlange (/review).

:bug: Das von der „Needs Approval“-Kennzeichnung der Automatisierung generierte Überprüfungselement ist für das Moderatorenkonto nicht sichtbar. Selbst wenn Sie mit diesem Konto direkt zur URL des Überprüfungselements navigieren, erhalten Sie nur eine 404-Seite.

Zusätzlicher Kontext:

Der Fehler tritt nicht auf, wenn ich stattdessen im Menü Script options > Flag type die Option Flag as spam and hide post (Als Spam kennzeichnen und Beitrag ausblenden) auswähle.

Obwohl dies einen Workaround bietet, führt es zu einer schlechten Erfahrung für das Moderationsteam in dem Anwendungsfall, in dem das Skript zur Sichtung von Beiträgen aus anderen Gründen als der Spam-Erkennung verwendet wird. Wir erwarten, dass eine Kennzeichnung nur dann den Grund „Spam“ erhält, wenn der Verdacht auf Spam besteht.

Die von der Funktion „Approve unless allowed groups“ (Genehmigen, sofern nicht für erlaubte Gruppen) generierten „Needs Approval“-Kennzeichnungen sind für Moderatoren sichtbar. Dies lässt mich vermuten, dass die fehlende Sichtbarkeit der Kennzeichnungen aus dem Skript „Beiträge mit KI sichten“ durch einen Fehler verursacht wird und nicht durch ein (unerklärliches) beabsichtigtes Design.

Ich glaube nicht, dass es einen gültigen Grund gibt, diese Überprüfungselemente vor Moderatoren zu verbergen, aber falls doch, sollte dieses Verhalten zumindest optional gestaltet werden.

Ich kann den Fehler im Forum forum.arduino.cc reproduzieren.