외부 리소스 사용에 대해, 원하시면 LLM을 로컬에서 실행할 수도 있습니다:
하지만 프로젝트에서 실제로 이렇게 해보셨나요?
특히 인상적인 하드웨어를 소유하거나 임대해야 합니다!
(호스팅을 고려할 수 있는) 더 작은 언어 모델들을 직접 사용해 보고 얼마나 인상적인지 확인해 보세요:
경험에 따라 다르겠지만, 제 생각에는 셀프 호스팅하려면 최소 700억 개 매개변수 모델 이상을 고려해야 할 것이며, 이는 셀프 호스팅 비용이 상당히 비쌀 것입니다.
참고로, GPT 3.5는 1,750억 개 매개변수 모델이라고 하며, GPT 4는 거의 2조 개(그들의 주장에 따르면)입니다 
저는 이 플러그인을 작성했습니다:
그리고 AI 태깅 기능이 있습니다. 제 경험상 잘 작동하려면 GPT 4 Turbo가 필요하며(그리고 그렇게 하면 정말 잘 작동합니다!)
그만큼 강력한 것을 셀프 호스팅하려면 매우 큰 자본이 필요합니다.
이것이 외부 LLM API 사용이 여전히 매력적인, 사용한 만큼만 지불하는(pay-as-you-go) 옵션인 이유이며, 특히 비싼 인프라가 유휴 상태로 시간을 보내는 것이 아니라 실제 호출한 것만 지불하기 때문입니다.
물론 프라이버시가 주요하고 충분한 우려 사항이라면, 이 계산이 달라질 수 있습니다.