AI 随机且不可预测地超出 LLM 令牌阈值

[Falco]

你是不是把请求令牌和响应令牌搞混了？

413 错误表示你的请求体过大，而不是你请求的响应过大。

要解决这个问题，你需要调整 LLM 配置中的“上下文窗口”（Context window）。但我要提醒一下，如今 8k 的令牌容量实在太小了。它可能适用于某些功能，但在如今大模型普遍支持百万级令牌上下文窗口的情况下，这已经不太符合主流需求了。我可以在自己的台式机上用比你所用模型性能更好的模型运行 256k 的上下文窗口。