Si cambio el LLM, ¿se vuelven a traducir todas las publicaciones?
Estaba utilizando un LLM alojado en Groq; estaba al 95% de completado cuando comencé a recibir errores. Tras investigar, me di cuenta de que Groq había deprecado el modelo que estaba usando. Así que configuré un nuevo modelo en Groq y luego actualicé los parámetros del modelo en Discourse.
Veo que Discourse ahora está utilizando millones de tokens con el LLM de traducción actualizado todos los días, pero la barra de progreso en la página de estado de las traducciones no avanza en absoluto (sigue atascada en el 95%).
Por lo tanto, estoy tratando de entender qué sucede cuando cambian los parámetros del LLM. ¿Comienza las traducciones desde cero? De ser así, ¿hay alguna manera de evitar que lo haga y simplemente reanudar desde donde se quedó?
Depende, por ejemplo, si traduces usando un modelo de Gemini y luego cambias a otro, estarás creando una nueva caché de palabras. En mi experiencia, prefiero mantener tres rutas, dos con el mismo modelo, y ahora he activado un Gemini Flash Lite para contenidos nuevos, y hasta ahora sin problemas.
¿Qué puedo hacer para verificar qué está ocurriendo?
Cada día, el LLM consume millones de tokens para las traducciones (está alcanzando el límite diario de la API), pero no hay ningún progreso en las estadísticas de traducción (0 traducciones incrementales). Véanse las capturas de pantalla.
Bueno, activé la depuración de traducción con IA desde la consola de Rails con SiteSettings.ai_translation_verbose_logs = true y, durante los últimos 2 días, estoy viendo esto en la página de registros de errores /logs.
DiscourseAi::Translation: Falló al traducir el tema 5898 a zh_TW: {“error”:{“message”:"Se alcanzó el límite de velocidad para el modelo openai/gpt-oss-120b en la organización org_01kccx1baz5sXXX, nivel de servicio on_demand, en tokens por día (TPD): Límite 200000, Usados 193366, Solicitados 7514. Por favor, inténtalo de nuevo en 6m20.16s.
El mismo tema sigue agotando todo el límite diario de tokens. No entiendo por qué un tema quedaría atrapado en un bucle.
