현재는 Mistral 7B를 기반으로 한 가장 작은 버전의 모델을 실행하고 있습니다. 단일 A100 서버에서 21GB의 VRAM을 사용하며, ghcr.io/xfalcox/llava:latest 컨테이너 이미지를 통해 실행되고 있습니다.
불행히도 멀티모달 모델 생태계는 텍스트-텍스트 모델만큼 성숙하지 않아, vLLM이나 TGI 같은 추론 서버를 활용할 수 없는 상황입니다. 그래서 현재는 일회용 마이크로서비스에 의존하고 있습니다. 올해 상황이 달라질 수 있습니다. 멀티모달 지원은 vLLM의 로드맵에 포함되어 있지만, 그 때까지는 해당 서비스들을 통해 상황을 점검해 볼 수 있을 것입니다.