Solo para que lo sepas, el problema comenzó cuando el servicio de traducción se quedó bloqueado y se agotaron los tokens:
DiscourseAi::Completions::Endpoints::OpenAi: status: 429 - body: {“error”:{“message”:“Límite de tasa alcanzado para el modelo
openai/gpt-oss-120ben la organizaciónorg_01kccx1be8fffaz5sbe17, nivel de servicioon_demand, en tokens por día (TPD): Límite 200000, Usados 193487, Solicitados 7464. Inténtalo de nuevo en 6m50.832s. ¿Necesitas más tokens? Actualiza al nivel Dev hoy en https://console.groq.com/settings/billing",“type”:“tokens”,“code”:"rate_limit_exceeded”}}
Luego pausé el servicio durante 24 horas para que se restablecieran los límites diarios. Al reiniciarlo, noté este error:
DiscourseAi::Completions::Endpoints::OpenAi: status: 413 - body: {“error”:{“message”:“Solicitud demasiado grande para el modelo
openai/gpt-oss-120ben la organizaciónorg_01kccx1be8fffaz5sbe17, nivel de servicioon_demand, en tokens por minuto (TPM): Límite 8000, Solicitados 8102, reduce el tamaño de tu mensaje e inténtalo de nuevo. ¿Necesitas más tokens? Actualiza al nivel Dev hoy en https://console.groq.com/settings/billing",“type”:“tokens”,“code”:"rate_limit_exceeded”}}
Después reduje los tokens de salida máximos de 7000 a 6800 en la configuración del LLM y volvió a funcionar.
¿Qué estoy pasando por alto? ¿Estás sugiriendo que está relacionado con la ventana de contexto y no tiene nada que ver con los tokens de salida máximos? Solo trato de entender cómo igualar los números de configuración de Groq / límites del modelo con las configuraciones de LLM de Discourse.