AI 随机且不可预测地超出 LLM 令牌阈值

[RBoy]

上下文窗口已设置为 130k

但这又回到了同一个问题。Groq 上的模型限制是 131,072；我已经将其设为 130,000。我不应该需要通过实验来摸索 Discourse 实际发送了多少内容。Discourse 应当能够在 LLM 配置提供的限制内正常运行。

我不理解的是，为什么减少最大输出 token 数似乎能解决问题。我并没有更改上下文窗口，只是进一步减少了最大输出 token 数，结果它就开始正常工作，并从断点处继续处理了。