La finestra di contesto è impostata su 130k
Ma questo mi riporta allo stesso problema. Il limite del modello su Groq è 131.072; l’ho già impostato a 130.000. Non dovrei dover fare esperimenti con i limiti per capire quanto sta inviando Discourse. Discourse dovrebbe essere in grado di operare entro i limiti forniti dalla configurazione dell’LLM.
Quello che non capisco è perché ridurre i token di output massimi sembri risolvere il problema. Non ho apportato modifiche alla finestra di contesto, ho solo ridotto ulteriormente i token di output massimi e ora funziona, riprendendo da dove si era interrotto.