AI推論モードでエラーが発生します

[satonotdead]

Discourse AIでいくつかのモデルを動作させるために、LiteLLMに対していくつかのハック的な処理を行う必要がありました。

異なる推論モデルを試しましたか？一部のLLMは推論機能を有効にしないと動作せず、他のモデルでは低（最小ではなく）または常にデフォルトに設定する必要がある場合があります。その場合、通常は負荷が大きくなります。