단일 인스턴스 기준, API 가격 경쟁력을 넘어서기는 어렵습니다. API는 호출당 과금되는 반면, TGI를 실행하는 경우 서버가 가동되는 시간당 비용이 발생하기 때문입니다.
예를 들어 g6.xlarge 인스턴스에서 Llama 3.1 8B를 실행한다고 가정해 보겠습니다. 이 경우 월 약 600달러의 비용이 발생합니다. 이 비용으로 Anthropic Claude 3.5 Haiku 기준 약 450M 토큰을 처리할 수 있습니다.
개인정보 보호가 필요하거나 대규모 처리가 요구될 때 자체 LLM을 실행하는 것이 합리적입니다.