コンテキストウィンドウは 130k に設定されています。
しかし、これでは同じ問題に戻ってしまいます。Groq のモデル制限は 131,072 で、私はすでにそれを 130,000 に設定しています。Discourse が送信している量を把握するために、制限を実験的に試す必要はありません。Discourse は、LLM 設定で提供される制限内で動作できるはずです。
理解できないのは、なぜ最大出力トークンを減らすと問題が解決する点です。コンテキストウィンドウに変更を加えたわけではなく、最大出力トークンをさらに減らしただけなのに、動作し始め、中断した場所から再開するようになりました。