현재 테스트 엔드포인트가 다소 오해의 소지가 있어 이를 수정하고 싶습니다.
현재는 “non streaming” 엔드포인트만 테스트하고 있습니다. "streaming"은 테스트되지 않습니다.
LLM에서 스트리밍을 비활성화하면 모든 기능이 정상적으로 작동할까요? 아마도 프록시에서 스트리밍이 구현되어 있지 않은 것 같습니다.
현재 테스트 엔드포인트가 다소 오해의 소지가 있어 이를 수정하고 싶습니다.
현재는 “non streaming” 엔드포인트만 테스트하고 있습니다. "streaming"은 테스트되지 않습니다.
LLM에서 스트리밍을 비활성화하면 모든 기능이 정상적으로 작동할까요? 아마도 프록시에서 스트리밍이 구현되어 있지 않은 것 같습니다.