Cosa succede alle traduzioni quando cambia l'LLM?

[RBoy]

Se cambio il LLM, tutti i post vengono rtradotti?

Stavo utilizzando un LLM ospitato su Groq; era circa al 95% di completamento quando ho iniziato a ricevere errori. Dopo aver indagato, ho scoperto che Groq aveva deprecato il modello che stavo usando. Quindi ho configurato un nuovo modello su Groq e aggiornato i parametri del modello in Discourse.

Osservo che Discourse sta ora utilizzando milioni di token con il nuovo LLM per la traduzione ogni singolo giorno, ma la barra di avanzamento nella pagina di stato delle traduzioni non progredisce affatto (è ancora bloccata al 95%).

Quindi sto cercando di capire cosa succede quando cambiano i parametri del LLM: ricomincia le traduzioni da zero? Se è così, c’è qualche modo per impedirlo e riprendere semplicemente da dove si era interrotto?

[eisammy (Sammy)]

Dipende, ad esempio, se traduci usando un modello Gemini e poi passi a un altro, creerai una nuova cache di parole. Nella mia esperienza, preferisco mantenere tre rotte: due con lo stesso modello e ora ho attivato un Gemini Flash Lite per i nuovi contenuti, e finora nessun problema.

[Falco]

@RBoy

Quindi sto cercando di capire cosa succede quando cambiano i parametri dell’LLM? Riparte da zero con le traduzioni? Se è così, c’è un modo per evitare che lo faccia e riprendere semplicemente da dove si era interrotto?

Le traduzioni vecchie vengono mantenute; il nuovo LLM eseguirà traduzioni solo per ciò che non è stato ancora tradotto.

[RBoy]

Cosa posso fare per verificare cosa sta succedendo?

Ogni giorno l’LLM consuma milioni di token per le traduzioni (sta raggiungendo il limite giornaliero dell’API), ma non c’è alcun progresso nelle statistiche di traduzione (0 traduzioni incrementali). Vedere gli screenshot.

[Falco]

Abilita i log dettagliati e controlla le ultime voci nella tabella dei log di audit dell’API AI.

[RBoy]

Ok, quindi ho attivato il debug della traduzione AI dalla console di Rails con SiteSettings.ai_translation_verbose_logs = true e negli ultimi 2 giorni sto vedendo questo nella pagina dei log degli errori in /logs.

DiscourseAi::Translation: Errore durante la traduzione del topic 5898 in zh_TW: {“error”:{“message”:"Limite di velocità raggiunto per il modello openai/gpt-oss-120b nell’organizzazione org_01kccx1baz5sXXX nel livello di servizio on_demand per i token al giorno (TPD): Limite 200000, Utilizzati 193366, Richiesti 7514. Riprova tra 6m20.16s.

Lo stesso topic continua a consumare tutto il limite giornaliero di token. Non riesco a capire perché un singolo topic rimanga bloccato in un loop?

[Falco]

Hai disattivato il ragionamento per questo LLM? Prova.

[RBoy]

Quando dici “pensiero”, intendi la “visione”? Non vedo alcuna casella di controllo o opzione per il pensiero nella pagina di configurazione dell’LLM su Discourse.

Sono curioso di sapere quale impatto avrebbe questo sulle traduzioni?

È bloccato su questa pagina da una settimana, consumando tutti i token giornalieri:

Embedded Subtitles with MP4 Unprocessed - General Support / Questions - MCEBuddy

DiscourseAi::Translation: Traduzione fallita per il topic 5898 in fr: {“error”:{“message”:“Limite di velocità raggiunto per il modello openai/gpt-oss-120b nell’organizzazione org_01kccx1be8fffaz5sbe17 nel piano tariffario on_demand per token al giorno (TPD): Limite 200000, Utilizzati 197080, Richiesti 7512. Riprova tra 33m3.744s.”

[RBoy]

Intendi lo sforzo di ragionamento o la visione?

[RBoy]

@Falco se imposto lo sforzo di ragionamento su nessuno, ottengo questo errore:

DiscourseAi::Translation: Impossibile tradurre l’argomento 5898 in fr: {“error”:{“message”:“reasoning_effort deve essere uno tra low, medium o high”,“type”:“invalid_request_error”}}

A quale impostazione ti riferisci?

[RBoy]

Quindi sono passate circa 24 ore, ma non vedo alcun evento di traduzione nei log: nessun errore, nessun successo nell’ultimo giorno.

Tuttavia, la dashboard indica che le traduzioni sono incomplete.

Ho provato a disabilitare e riabilitare l’interruttore delle traduzioni automatiche, ma non ha fatto alcuna differenza.

Quando controllo il pianificatore Sidekiq, vedo solo questa attività relativa alle traduzioni:

Ho provato a eseguirla manualmente, ma non ci sono stati progressi nelle traduzioni e nemmeno errori nei log.

Perché le traduzioni si bloccano?

[Falco]

Da quanto ricordo nel debug di un problema simile per un cliente, non è semplicemente possibile utilizzare un modello di ragionamento per il rilevamento della localizzazione.

Non utilizziamo output strutturati in quel contesto, il che significa che siamo estremamente sensibili al formato dell’output. I blocchi di ragionamento li interrompono il 100% delle volte e, senza il rilevamento della localizzazione, la traduzione rimane sempre bloccata.

[RBoy]

Quindi, se ho capito bene, dovremo utilizzare un modello non pensante per le traduzioni AI.