Stavo utilizzando un LLM ospitato su Groq; era circa al 95% di completamento quando ho iniziato a ricevere errori. Dopo aver indagato, ho scoperto che Groq aveva deprecato il modello che stavo usando. Quindi ho configurato un nuovo modello su Groq e aggiornato i parametri del modello in Discourse.
Osservo che Discourse sta ora utilizzando milioni di token con il nuovo LLM per la traduzione ogni singolo giorno, ma la barra di avanzamento nella pagina di stato delle traduzioni non progredisce affatto (è ancora bloccata al 95%).
Quindi sto cercando di capire cosa succede quando cambiano i parametri del LLM: ricomincia le traduzioni da zero? Se è così, c’è qualche modo per impedirlo e riprendere semplicemente da dove si era interrotto?
Dipende, ad esempio, se traduci usando un modello Gemini e poi passi a un altro, creerai una nuova cache di parole. Nella mia esperienza, preferisco mantenere tre rotte: due con lo stesso modello e ora ho attivato un Gemini Flash Lite per i nuovi contenuti, e finora nessun problema.
Cosa posso fare per verificare cosa sta succedendo?
Ogni giorno l’LLM consuma milioni di token per le traduzioni (sta raggiungendo il limite giornaliero dell’API), ma non c’è alcun progresso nelle statistiche di traduzione (0 traduzioni incrementali). Vedere gli screenshot.
Ok, quindi ho attivato il debug della traduzione AI dalla console di Rails con SiteSettings.ai_translation_verbose_logs = true e negli ultimi 2 giorni sto vedendo questo nella pagina dei log degli errori in /logs.
DiscourseAi::Translation: Errore durante la traduzione del topic 5898 in zh_TW: {“error”:{“message”:"Limite di velocità raggiunto per il modello openai/gpt-oss-120b nell’organizzazione org_01kccx1baz5sXXX nel livello di servizio on_demand per i token al giorno (TPD): Limite 200000, Utilizzati 193366, Richiesti 7514. Riprova tra 6m20.16s.
