다음 주에 팀에게 Discourse AI 통합에 대해 설명할 예정입니다. 이미 API 키가 몇 개 있지만, 모두 유료 계정용입니다.
질문이 나올 것 같습니다. 무료로 사용할 수 있는 기능이 있는지요. 저희는 학교이고, 학생들이 모든 기능을 사용하고 싶어 할 가능성이 높지만, 비용은 감당하기 어려울 것입니다.
감사합니다.
아니요. 무료가 아닙니다.
사실 Llama 3는 무료이지만, 제 판단으로는 이를 실행하려면 30만 달러짜리 컴퓨터가 필요합니다.
예산이 있다면, 원하는 서비스에 대해 매월 그 정도 금액을 지불하도록 설정할 수 있습니다. 그리고 한 달간 사용량이 소진되면 그 달에는 더 이상 사용할 수 없게 됩니다. 첫 주(또는 첫날)에 한도가 소진되지 않도록 제한을 설정하려고 노력할 것입니다. 수업의 일부로 이를 사용하고 싶은 교사들이 이를 의지할 수 있도록 설정하는 것은 복잡할 것입니다.
학교라면 AWS, Azure, GCP와 같은 서비스에서 무료 교육용 크레딧을 신청하여, 이를 통해 Discourse의 AI 기능을 활용할 수 있습니다.
고마워요, 그걸 말하려고 했거든요. 무료가 아니에요. 당분간은 Gpt4All과 LmStudio의 로컬 인스턴스를 계속 사용할 계획입니다.
참고로, Llama3의 70b 버전을 48GB VRAM 내에서 실행할 수 있습니다. 이 정도 VRAM은 eBay에서 중고 Nvidia RTX 3090 두 장을 각각 약 750달러에 비교적 쉽게 구할 수 있습니다. 이를 지원할 나머지 시스템 구성까지 포함하면 총 비용이 약 3,000달러 선이 될 것으로 예상합니다. 
100배나 개선된 거네요! 학교가 그 정도 돈을 가질 수 있을 것 같다고 상상해 볼 수 있지만, 제 상상력은 꽤나 뛰어난 편입니다.
정말 감사합니다. 하드웨어 요구 사항은 거의 이해가 안 됩니다.
이 문제를 다른 관점에서 바라볼 수 있습니다.
AI를 시범 적용해 보고 한 달 동안 비용 대시보드를 지켜보는 건 어떨까요? 그런 다음 계속 진행할지 결정하면 됩니다.
지난 12개월 동안만 해도 성능이 뛰어난 모델의 비용이 상당히 많이 낮아졌습니다.
OpenAI의 gpt4o-mini는 현재 매우 뛰어난 성능을 갖추고 있으면서도 매우 저렴합니다(물론 상대적인 개념이지만).
글쎄, 미니는 매번 나를 실망시켰어. 하지만 그건 다른 곳에서 따로 이야기할 만한 주제야.
네, 언어에 따라 달라질 수도 있습니다.
Gemini Flash는 매우 저렴하고, DeepSeek API는 거의 무료 수준으로 저렴합니다.
로컬에서 실행해야 한다면, Llama 모델을 돌릴 수 있는 기계를 1,000달러 미만으로 구축할 수 있습니다. 저는 64GB의 VRAM을 갖춘 4xP100 기계를 1,000달러에 구축했습니다. 하지만 48GB VRAM을 갖춘 2xP40 기계로도 70B Llama를 실행하기에 충분하며, 중고 부품을 구매하면 600달러로 구축할 수 있습니다.
최고 수준의 저비용을 원한다면 AQLM 양자화를 사용하여 단일 P40 GPU에서 실행할 수 있지만, 이 경우 속도가 매우 느려질 것입니다(약 1 tok/s).
그들에게 돈이 없습니다
이런 셀프호스팅 솔루션들의 전기 비용을 고려하는 사람이 없다는 점이 흥미롭네요. 어차피 특정 머신에 귀속할 수 없는 통합 청구서가 하나 나오는 거니까요…
방금 언급하신 주제는 얼마 전 한 친구가 이야기한 내용과 맞닿아 있습니다. 그 친구는 공기업에서 일하는데, 재택근무의 부수적 영향으로 에어컨이나 난방 장치가 이제 24시간 내내 돌아가고 있다고 하더군요. 사람들이 쉼 없이 사용해야 하기 때문이죠. 그 결과 많은 사람이 천문학적 수준의 공과금 청구서를 받아 보고 있습니다.
참고로, Discourse 호스팅 플랜에는 플랜에 포함된 관련 주제가 포함되어 있습니다. 이 기능은 AI 임베딩으로 구동됩니다.
Cloudflare와 같은 일부 제공자는 셀프 호스터를 위해 넉넉한 사용량을 제공하는 무료 티어를 제공합니다.