Il problema di utilizzo dopo aver utilizzato la traduzione AI

[co_choa]

Ho seguito il tutorial ufficiale per configurare Discourse AI per la traduzione e l’ho impostato per tradurre tutti i post passati su un arco di giorni. In effetti, ciò ha comportato una notevole quantità di token di input e output. Tuttavia, dopo due giorni, mi sono trovato in una situazione in cui venivano elaborati solo i token di input senza alcun output. Non sono sicuro della causa: potrebbe essere che tutti i post precedenti siano già stati tradotti? In tal caso, quali misure posso adottare per ridurre l’input di token e quindi risparmiare sui costi?

[nat (Natalie T)]

Ciao, hai seguito queste raccomandazioni?

@nat

Per coprire alcune impostazioni e raccomandazioni importanti:

• AI translation model - Ti consigliamo vivamente di impostare una quota per il modello LLM che scegli per il modello di traduzione.
• AI translation backfill hourly rate - questa impostazione è nascosta nell’interfaccia utente e ha un valore predefinito di 0. La traduzione automatica non inizierà se questo valore è 0. Supponendo che il tasso sia 50, il tuo sito tradurrà 50 post, 50 argomenti e 50 categorie all’ora, nelle localizzazioni che hai impostato in Content localization supported locales. Mantieni un numero basso quando inizi.
• AI translation backfill max age days - il valore predefinito è 5. Ciò significa che gli argomenti e i post più vecchi di 5 giorni non verranno tradotti. Puoi aumentare questo valore a un numero elevato per tradurre tutti gli argomenti e i post.

Il grafico di utilizzo è decisamente preoccupante. Puoi provare questa query del data explorer:

SELECT 
  a.id,
  a.language_model,
  LENGTH(p.raw) as raw_length,
  a.response_tokens,
  a.raw_request_payload,
  a.raw_response_payload,
  a.topic_id,
  a.post_id
FROM ai_api_audit_logs a
LEFT JOIN posts p ON p.id = a.post_id AND p.deleted_at IS NULL
LEFT JOIN topics t ON t.id = a.topic_id AND t.deleted_at IS NULL
WHERE a.created_at > CURRENT_DATE - INTERVAL '1 days'
AND p.deleted_at IS NULL
AND t.deleted_at IS NULL
AND p.user_deleted = false
AND a.feature_name = 'translation'
AND LENGTH(p.raw) < 1000
AND a.response_tokens > 10000
ORDER BY a.created_at DESC
LIMIT 100

La query dovrebbe mostrarti il numero di token di risposta utilizzati in base alla lunghezza grezza del post. Idealmente dovresti vedere un numero simile, non superiore a 1,5 volte i token. AiApiAuditLog aiuterà a determinare cosa sta succedendo.

Inoltre, per favore condividi:

• Quale modello stai usando?
• Qual è il tuo tasso di backfill orario? Suggerisco di mantenerlo a un valore basso, come 50 per iniziare.
• Quante lingue stai supportando? Il tuo modello selezionato le supporta?

[co_choa]

Ho configurato GPT-4.1 Nano come modello di traduzione. Il tasso di riempimento orario era precedentemente impostato a 1.000, ma oggi l’ho modificato a 100. Ho abilitato il supporto sia per il giapponese che per l’inglese, e questo modello supporta effettivamente queste lingue.

[nat (Natalie T)]

Sì, 1000 probabilmente non è una buona idea e dovrei aggiungere un limite alle impostazioni del sito.

Non sono sicuro di come l’API di OpenAI gestisca di essere colpita circa 3000 volte all’ora. Fondamentalmente per la tua configurazione, per post facciamo: uno: rilevamento della lingua, due: traduzione in giapponese, tre: traduzione in inglese.

Suggerisco di abbassarlo ancora a 50 e vedere come va.

Implementeremo anche un modo per visualizzare lo stato di avanzamento della traduzione dell’intero sito nel prossimo futuro.

[co_choa]

Inoltre, quando eseguo il comando di query che mi hai fornito, il database non restituisce risultati. È forse necessaria qualche personalizzazione o modifica?

[nat (Natalie T)]

Hmm, questa query dovrebbe funzionare. Hai il plugin discourse-data-explorer?

[co_choa]

Molto bene, ci proverò prima. Grazie.

[co_choa]

Lo installerò in seguito e poi ci riproverò. Attualmente, ricostruire il forum non è fattibile perché gli utenti lo stanno ancora utilizzando attivamente.