"Triage posts using AI"-Skript des "Automation"-Plugins enthält immer Bilddaten in der Anfrage

[per1234]

Priorität/Schweregrad:

Mittel

Plattform:

Discourse b66fca70d0e3d12ef930398289fac5269cd240c7

Beschreibung:

Das offizielle „Automation“-Plugin enthält ein „Triage posts using AI“-Skript. Dieses Skript übergibt den Inhalt eines Beitrags an das LLM und führt anschließend konfigurierbare Triage-Aktionen basierend auf dem Ergebnis aus.

Um die LLM-Nutzung innerhalb des im Discourse-Hosting-Plan bereitgestellten Kontingents zu halten (bei Nutzung des von CDCK gehosteten LLM) oder innerhalb des Budgets bei der Nutzung eines Drittanbieter-LLM-Anbieters, ist es wichtig, die Anzahl der pro Abfrage erforderlichen Tokens zu steuern. Das „Triage posts using AI“-Skript bietet eine „Max Post Tokens“-Einstellung, mit der ein Limit für die Menge des in die Anfrage aufzunehmenden Beitragsinhalts festgelegt werden kann.

Enthält der Beitrag angehängte Bilder, werden die großen Datenmengen der Bilder stets in die Anfrage aufgenommen, auch wenn dies dazu führt, dass das über die „Max Post Tokens“-Einstellung für die Automatisierung festgelegte Token-Limit überschritten wird.

Dies tritt auch dann auf, wenn die Option „Vision enabled“ in der Konfiguration der von der Automatisierung verwendeten AI-Persona deaktiviert ist.

Dies führt zu einer unkontrollierten Token-Ausgabe.

In vielen Anwendungsfällen ist nur die Textdaten des Beitrags relevant, in diesem Fall ist die durch die Bilddaten verursachte Aufblähung des Token-Verbrauchs sogar wertlos.

Reproduzierbare Schritte:

1. Erstellen Sie, falls noch nicht vorhanden, eine geeignete benutzerdefinierte AI-Persona.
2. Deaktivieren Sie die Option „Vision enabled“ in den Einstellungen der Persona.
3. Aktivieren Sie, falls noch nicht geschehen, das integrierte „Automation“-Plugin.
4. Navigieren Sie zur „Automations“-Seite des Plugins (/admin/plugins/automation/automation).
5. Klicken Sie auf die Schaltfläche „+ Add automation“.
   Die Seite „Select a script“ wird geöffnet.
6. Wählen Sie das Skript „Triage posts using AI“.
   Die Konfigurationsseite der Automatisierung wird geöffnet.
7. Konfigurieren Sie die Automatisierung entsprechend für einen einfachen Test. Es ist nicht erforderlich, dass die Automatisierung zu einer Ausführung von Aktionen führt, solange sie LLM-Abfragen generiert.
8. Wählen Sie die in Schritt 1 erstellte AI-Persona aus dem Menü Skriptoptionen > Persona in der Automatisierungskonfiguration aus.
9. Legen Sie die Einstellung Skriptoptionen > Max Post Tokens in der Automatisierungskonfiguration auf 20 fest.
10. Klicken Sie unten auf der Konfigurationsseite der Automatisierung auf die Schaltfläche „Update automation“.
    Sie werden zur „Automations“-Seite zurückgeleitet.
11. Schalten Sie den „Enable automation“-Schalter für die neu erstellte Automatisierung auf „on“.
12. Verfassen Sie einen Beitrag oder eine DM, die die Automatisierung auslöst. Fügen Sie dem Beitrag ein Bild hinzu.
13. Veröffentlichen Sie den Beitrag oder die Nachricht.
14. Navigieren Sie zur Administrationsseite des Plugins „Data Explorer“ (/admin/plugins/explorer).
15. Klicken Sie auf der Seite auf die Schaltfläche „+“.
    Es erscheint ein Feld „Query name…“.
16. Geben Sie im Feld „Query name…“ Get AI Audit Logs ein.
17. Klicken Sie auf die Schaltfläche „+ Create New“.
    Eine neue Data Explorer-Abfrage wird erstellt.
18. Klicken Sie auf die Schaltfläche „Edit“.
    Das Bearbeitungsfeld für den Abfragecode wird geöffnet.
19. Ersetzen Sie den Inhalt des Platzhalter-Abfragecodes durch Folgendes:

    SELECT request_tokens, raw_request_payload
    FROM ai_api_audit_logs
    WHERE feature_name = 'llm_triage'
    

20. Klicke auf die Schaltfläche “Ausführen”.
    Der Wert des Feldes request_tokens, der im Abfrageergebnis des Data Explorer für die Anfrage angezeigt wird, die die Automatisierung nach dem Auslösen durch deinen Beitrag generiert hat, übersteigt bei weitem die Anzahl, die man für den “System-Prompt” aus der KI-Persona-Konfiguration und das maximale Limit von 20 Tokens für den Textkontext des Beitrags, das durch die Automatisierungskonfiguration festgelegt ist, erwarten würde.
21. Klicke auf die Schaltfläche ●●● rechts neben dem Wert des Feldes raw_request_payload im Abfrageergebnis des Data Explorer.
    Es öffnet sich ein Dialog, der den vollständigen Wert des Feldes anzeigt.

Die Daten des dem Beitrag angehängten Bildes wurden über einen messages[*].image_url-Schlüssel in den Anfragedaten enthalten.

Beispiel:

{
  "model": "Qwen/Qwen3-VL-30B-A3B-Instruct",
  "max_tokens": 16384,
  "messages": [
    {
      "role": "system",
      "content": "You will be given a piece of text, and your task is to detect the locale of the text

[zogstrip]

Danke für den Bericht @per1234

Dies wird behoben durch

FIX: respect persona's vision setting in LLM triage automation