Der Kontextfenster ist auf 130k gesetzt.
Doch das führt mich wieder zum selben Problem. Das Modell-Limit bei Groq beträgt 131.072; ich habe es bereits auf 130.000 festgelegt. Ich sollte nicht experimentieren müssen, um herauszufinden, wie viel Discourse sendet. Discourse sollte innerhalb der Grenzen der LLM-Konfiguration arbeiten können.
Was ich nicht verstehe, ist, warum das Reduzieren der maximalen Ausgabetokens das Problem zu lösen scheint. Ich habe nichts am Kontextfenster geändert, sondern nur die maximalen Ausgabetokens weiter reduziert, und es funktioniert plötzlich wieder und setzt dort fort, wo es aufgehört hatte.