새로운 "채팅봇"을 추가하고 자체 호스팅된 LLM과 연결하려고 합니다.
“ai hugging face model display name” 필드를 사용해 봤는데, 어디에도 표시되지 않는 것 같습니다. 아마도 페르소나에 연결된 프롬프트에서 이 필드를 참조해야 하는 것일까요?
또한 “ai bot enable chat bots” 드롭다운을 통해 새 봇을 "생성"해 보았지만, 생성한 봇은 채팅봇 드롭다운에 " [en.discourse_ai.ai_bot.bot_names.XXXX] " 형태로 표시됩니다. 여기서 XXXX는 제가 제공한 이름입니다.
이 작업을 수행하는 방법에 대한 팁이나 문서, 가이드가 있다면 알려 주시면 감사하겠습니다.
제안을 해 주실 수 있는 분이 계시나요, 아니면 알려진 제한 사항인가요?
@Roman이 이 섹션을 리팩토링하는 중이니, 앞으로 몇 주 안에 더 많은 소식이 있을 예정입니다.
현재 자체 호스팅 LLM을 사용할 수 없다는 것을 제가 제대로 이해한 건지, 그리고 이것이 곧 바뀔 것인지 확실하지 않습니다.
현재는 불가능하지만, hopefully 1~2주 안에 이 기능이 정상 작동할 수 있을 것입니다.
감사합니다. OpenAI가 지원되는데 작동하지 않아서 좀 놀랐어요. OpenAI 호환 엔드포인트로 자체 LLM을 실행하는 분들이 꽤 많을 것 같아요. 2주 후에 나올 업데이트를 기대할게요 
호기심에 물어보는데, @Isambard 님은 충분히 강력한 로컬 LLM을 월 기준으로 호스팅하는 데 드는 비용(달러 환산)을 어떻게 예상하시나요?
GPU가 유휴 상태일 때 월 최소 5달러의 추가 전기료가 발생하지만, 실제로는 이미 다른 용도로 LLM을 실행하고 있으므로 Discourse에 대한 추가 비용은 제로입니다.
그러나 작은 포럼이나 사용량이 낮은 경우에는 LLM을 서비스 형태로 사용하는 것이 더 경제적이 undoubtedly 될 것입니다. 다만 Discourse의 호스팅 서비스 규모를 고려하면, 내부에서 직접 호스팅하는 것이 더 합리적일 수 있으며(이 분야에 대한 지식을 갖추는 것이 향후 중요해질 가능성이 높으므로), 그렇게 하는 것이 더 나을 것 같습니다.
A100은 15k인가요?
특히 로컬에서 어떤 모델을 실행하고 계신가요?
여러 가지 작업을 동시에 수행하고 있습니다. Discourse 관련 작업에는 Mistral 기반의 7B 모델을 사용해 해당 작업에 맞게 파인튜닝(Fine-tuning)을 적용할 계획입니다. 분류 작업에는 다양한 BERT 계열 모델을 검토 중이며, 임베딩(Embedding) 모델은 아직 결정하지 못했습니다. 이 모든 작업은 700달러에 구매한 중고 3090 Ti에서 실행됩니다.
A100을 가질 수 있다면 좋겠지만, 대신 1,000달러라는 저렴한 비용으로 4개 GPU 시스템을 구축하여 Llama 3 70Bq4를 초당 20토큰(tok/s) 이상의 속도로 실행하고 있습니다.
물론 많은 경우, 혹은 대부분의 경우 프로바이더(Provider)를 이용하는 것이 합리적일 수 있습니다. 하지만 다음과 같은 경우에는 직접 구축(DIY)하는 것이 이점이 있을 수 있습니다:
- 학습을 원할 때
- 모델에 대한 제어와 안정성을 확보하고 싶을 때 (모델 접근 권한을 잃지 않거나, 비공개 임베딩을 사용하도록 특정 기업에 종속되지 않기 위해)
- 대량 처리(Bulk processing) 작업이 많고, 이를 내부에서 수행하는 것이 비용 효율적일 때
- 대량 처리를 위해 예약되고 안정적인 용량이 필요할 때 (프로바이더는 요청 수와 토큰 사용량에 한도가 있습니다)
3090를 벤치마크해 본 결과, Llama 3 - 8B FP16을 실행할 때 최대 지속 처리량이 초당 약 2,600토큰 수준이었습니다. 저는 전기 요금이 비싼 지역에 살고 있지만, 285W 전력 제한으로 연속 실행할 경우 출력 토큰 100만 개당 약 0.007달러(약 10원)의 비용이 듭니다. 장비를 3년에 걸쳐 전액 감가상각화한다면 100만 토큰당 약 0.01달러(약 14원) 수준이 됩니다.
합리적인 활용률을 유지할 수 있다면, 이는 Claude Haiku와 비교했을 때 상당히 유리합니다.
흥미로운 발견을 했습니다. 포럼을 호스팅 중인 웹 서버는 GPU 없이도 소규모 LLM을 상당히 낮은 속도(배칭 없이 6 tok/s)로 실행할 수 있을 만큼 충분한 성능을 갖추고 있습니다. 이는 오프라인/백그라운드 작업에 유용할 것입니다.