El contexto está configurado en 130k
Pero eso me lleva de nuevo al mismo problema. El límite del modelo en Groq es de 131.072; ya lo he ajustado a 130.000. No debería tener que experimentar con los límites para averiguar cuánto envía Discourse. Discourse debería poder operar dentro de los límites proporcionados por la configuración del LLM.
Lo que no entiendo es por qué reducir los tokens de salida máximos parece solucionar el problema. No he realizado ningún cambio en la ventana de contexto, solo he reducido aún más los tokens de salida máximos y ha empezado a funcionar, retomando donde lo dejó.