요청 토큰과 응답 토큰을 혼동하고 계신 건가요?
413은 요청된 응답이 아니라 요청 자체의 크기가 너무 크다는 것을 의미합니다.
이를 해결하려면 Context window LLM 설정을 조정해야 하지만, 현재 기준으로 8k 토큰은 너무 작은 값이라고 경고하고 싶습니다. 일부 기능에서는 작동할 수 있지만, LLM이 1M 토큰 길이의 컨텍스트 윈도우를 처리하는 요즘에는 그렇게 많이 사용하지 않는 수준입니다. 저는 데스크톱 PC에서 여러분이 사용하는 것보다 훨씬 더 나은 모델을 사용하여 256k 컨텍스트 윈도우를 실행할 수 있습니다.