Priorità/Gravità:
Media
Piattaforma:
Discourse b66fca70d0e3d12ef930398289fac5269cd240c7
Descrizione:
Il plugin ufficiale “Automation” (Automazione) dispone di uno script denominato “Triage posts using AI” (Triage dei post utilizzando l’IA). Questo script fornisce il contenuto di un post al modello linguistico di grandi dimensioni (LLM), eseguendo poi azioni di triage configurabili in base al risultato.
Al fine di mantenere l’utilizzo dell’LLM entro la quota di crediti fornita dal piano di hosting Discourse (quando si utilizza l’LLM ospitato da CDCK) o entro il budget quando si utilizza un provider LLM di terze parti, è fondamentale gestire il numero di token richiesti per ogni query. Lo script “Triage posts using AI” offre un’impostazione “Max Post Tokens” (Token massimi per post) che consente di stabilire un limite sulla quantità di contenuto del post da includere nella richiesta.
Se il post contiene immagini allegate, la grande quantità di dati delle immagini viene sempre inclusa nella richiesta, anche quando ciò comporta il superamento del limite di token per il post impostato per l’automazione tramite l’impostazione “Max Post Tokens”.
Ciò avviene anche quando l’opzione “Vision enabled” (Visione abilitata) è disabilitata nella configurazione della persona AI utilizzata dall’automazione.
Il risultato è una spesa di token incontrollabile.
In molti casi d’uso, è solo il dato testuale del post a essere rilevante; in tali circostanze, l’aumento dell’utilizzo dei token dovuto ai dati delle immagini non apporta alcun valore.
Passaggi per riprodurre il problema:
- Se non disponi già di una persona AI personalizzata adatta, creane una.
- Disabilita l’opzione “Vision enabled” nelle impostazioni della persona.
- Se non è già attivo, abilita il plugin integrato “Automation” (Automazione).
- Vai alla pagina “Automations” (Automazioni) del plugin (
/admin/plugins/automation/automation). - Clicca sul pulsante “+ Add automation” (+ Aggiungi automazione).
Si aprirà la pagina “Select a script” (Seleziona uno script). - Seleziona lo script “Triage posts using AI”.
Si aprirà la pagina di configurazione dell’automazione. - Configura l’automazione come necessario per un semplice test. Non è necessario che l’automazione esegua alcuna azione, purché generi query all’LLM.
- Seleziona la persona AI creata al passaggio 1 dal menu Script options > Persona (Opzioni script > Persona) nella configurazione dell’automazione.
- Imposta l’opzione Script options > Max Post Tokens (Opzioni script > Token massimi per post) su
20nella configurazione dell’automazione. - Clicca sul pulsante “Update automation” (Aggiorna automazione) in fondo alla pagina di configurazione dell’automazione.
Verrai reindirizzato alla pagina “Automations” (Automazioni). - Imposta l’interruttore “Enable automation” (Abilita automazione) per l’automazione appena creata sulla posizione “on” (acceso).
- Componi un post o un messaggio diretto (DM) che attivi l’automazione. Aggiungi un’immagine al post.
- Pubblica il post o il messaggio.
- Vai alla pagina di amministrazione del plugin “Data Explorer” (
/admin/plugins/explorer). - Clicca sul pulsante “+” nella pagina.
Comparirà un campo “Query name…” (Nome query…). - Digita
Get AI Audit Logs(Ottieni registri di audit AI) nel campo “Query name…”. - Clicca sul pulsante “+ Create New” (+ Crea nuovo).
Verrà creata una nuova query Data Explorer. - Clicca sul pulsante “Edit” (Modifica).
Si aprirà il campo di modifica del codice della query. - Sostituisci il contenuto del codice di query predefinito con il seguente:
SELECT request_tokens, raw_request_payload
FROM ai_api_audit_logs
WHERE feature_name = 'llm_triage'
- Clicca sul pulsante “Esegui”.
Il valore del campo request_tokensmostrato nel risultato della query di Data Explorer per la richiesta generata dall’automazione dopo essere stata attivata dal tuo post supera di gran lunga il numero che ci si aspetterebbe venga utilizzato dal “Prompt di sistema” nella configurazione della persona AI e dal limite massimo di 20 token per il contesto del testo del post imposto dalla configurazione dell’automazione. - Clicca sul pulsante ●●● a destra del valore del campo
raw_request_payloadnel risultato della query di Data Explorer.
Si aprirà una finestra di dialogo che mostra il valore completo del campo.
I dati dell’immagine allegata al post sono stati inclusi tramite una chiave messages[*].image_url nei dati della richiesta.
Esempio:
{
"model": "Qwen/Qwen3-VL-30B-A3B-Instruct",
"max_tokens": 16384,
"messages": [
{
"role": "system",
"content": "Ti verrà fornito un frammento di testo e il tuo compito è rilevare la lingua del testo