AI がランダムかつ予測不可能に LLM のトークン閾値を超える

リクエストトークンとレスポンストークンを混同していませんか?

413 は、リクエストされたレスポンスではなく、リクエスト自体が大きすぎることを意味します。

これを処理するには、Context window の LLM 設定を調整する必要がありますが、現在では 8k トークンは非常に小さすぎると警告しておきます。一部の機能では機能するかもしれませんが、LLM が 100 万トークンのコンテキストウィンドウを処理している現在、私たちが頻繁に利用しているものではありません。私のデスクトップ PC では、あなたが使用しているモデルよりもはるかに優れたモデルを使って 256k のコンテキストウィンドウを実行できます。