저도 vLLM을 사용 중입니다. 7B 파라미터 모델인 openchat v3.5 0106 모델을 추천합니다. 성능이 매우 좋습니다.
저는 실제로 4bit 양자화 버전으로 실행하고 있어서 속도가 더 빠릅니다.