Si cambio el LLM, ¿se vuelven a traducir todas las publicaciones?
Estaba utilizando un LLM alojado en Groq; estaba al 95% de completado cuando comencé a recibir errores. Tras investigar, me di cuenta de que Groq había deprecado el modelo que estaba usando. Así que configuré un nuevo modelo en Groq y luego actualicé los parámetros del modelo en Discourse.
Veo que Discourse ahora está utilizando millones de tokens con el LLM de traducción actualizado todos los días, pero la barra de progreso en la página de estado de las traducciones no avanza en absoluto (sigue atascada en el 95%).
Por lo tanto, estoy tratando de entender qué sucede cuando cambian los parámetros del LLM. ¿Comienza las traducciones desde cero? De ser así, ¿hay alguna manera de evitar que lo haga y simplemente reanudar desde donde se quedó?
Depende, por ejemplo, si traduces usando un modelo de Gemini y luego cambias a otro, estarás creando una nueva caché de palabras. En mi experiencia, prefiero mantener tres rutas, dos con el mismo modelo, y ahora he activado un Gemini Flash Lite para contenidos nuevos, y hasta ahora sin problemas.
¿Qué puedo hacer para verificar qué está ocurriendo?
Cada día, el LLM consume millones de tokens para las traducciones (está alcanzando el límite diario de la API), pero no hay ningún progreso en las estadísticas de traducción (0 traducciones incrementales). Véanse las capturas de pantalla.
Bueno, activé la depuración de traducción con IA desde la consola de Rails con SiteSettings.ai_translation_verbose_logs = true y, durante los últimos 2 días, estoy viendo esto en la página de registros de errores /logs.
DiscourseAi::Translation: Falló al traducir el tema 5898 a zh_TW: {“error”:{“message”:"Se alcanzó el límite de velocidad para el modelo openai/gpt-oss-120b en la organización org_01kccx1baz5sXXX, nivel de servicio on_demand, en tokens por día (TPD): Límite 200000, Usados 193366, Solicitados 7514. Por favor, inténtalo de nuevo en 6m20.16s.
El mismo tema sigue agotando todo el límite diario de tokens. No entiendo por qué un tema quedaría atrapado en un bucle.
Cuando dices ‘pensamiento’, ¿te refieres a la visión? No veo ninguna casilla de verificación ni opción para el pensamiento en la página de configuración del LLM en Discourse.
Me pregunto qué impacto tendría eso en las traducciones.
Lleva una semana atascado en esta página consumiendo todos los tokens diarios:
DiscourseAi::Translation: Falló al traducir el tema 5898 al fr: {“error”:{“message”:"Se alcanzó el límite de tasa para el modelo openai/gpt-oss-120b en la organización org_01kccx1be8fffaz5sbe17, nivel de servicio on_demand, en tokens por día (TPD): Límite 200000, Usados 197080, Solicitados 7512. Por favor, inténtalo de nuevo en 33m3.744s.
@Falco si configuro el esfuerzo de razonamiento en ninguno, obtengo este error:
DiscourseAi::Translation: No se pudo traducir el tema 5898 a fr: {“error”:{“message”:“reasoning_effort debe ser uno de low, medium o high”,“type”:“invalid_request_error”}}
Por lo que recuerdo al depurar un problema similar para un cliente, simplemente no se puede usar un modelo de razonamiento para la detección de localización.
No utilizamos salidas estructuradas allí, lo que significa que somos muy sensibles a cómo se presenta la salida. Los bloques de razonamiento los rompen el 100% de las veces, y sin la detección de localización, la traducción siempre queda bloqueada.
