친구가 이 스레드를 DM으로 보내줬어요.
장점/단점:
- infinity는 멀티모달 임베딩(즉, 이미지/오디오 전송)을 지원합니다.
- AMD GPU 지원
- 동일한 컨테이너에서 여러 모델을 지원하며(
model파라미터로 모델을 제어 가능). - 더 다양한 dtype 지원. 예: 가중치의 int8 양자화(대부분 이는 관련이 없으며, 활성화 메모리가 더 큼)
- 새로운 모델은 종종 huggingface 저장소에 포함된 "커스텀 모델링 코드"로 출시됩니다. Infinity는 필요할 경우 이 pytorch 코드를 읽습니다. 이를 통해 "xyz 모델을 지원할 수 있나요?"라는 요청을 지속적으로 피할 수 있습니다.
- 더 많은 모델 지원(예: mixedbread용 debertav2)
단점:
- TEI의 콜드 스타트 시간이 더 좋습니다.