AI 추론 모드 오류 발생

[satonotdead]

Discourse AI에서 일부 모델을 작동시키기 위해 LiteLLM에 대해 다소 해킹적인 작업을 해야 했습니다.

다른 추론 모델을 시도해 보셨나요? 일부 LLM은 추론 기능이 활성화되어 있어야만 작동하고, 다른 모델은 추론 기능을 낮게(최소값이 아닌) 설정하거나 기본값으로 항상 켜 두어야 합니다. 이는 일반적으로 리소스 사용량이 큰 작업입니다.