Discourse 사이트가 저희에게 호스팅된 경우, AI 설정에서 CDCK Hosted Model 또는 CDCK/MoM이라는 이름의 LLM을 보셨을 것입니다. 이 모델은 요약, AI 검색 등 다양한 기능을 구동합니다. 이 주제에서는 해당 모델이 무엇이고 어떻게 작동하는지 설명합니다.
간략한 설명
CDCK/MoM(“Mixture of Models”, 모델 혼합)은 호스팅 고객에게 추가 비용 없이 제공하는 내장 LLM으로, 사이트의 일일 AI 크레딧 할당량으로 구동됩니다. 단일 모델이 아닌, CDCK(Discourse의 개발사)가 운영하는 지능형 라우팅 계층으로, 각 요청을 여러 개의 선별된 오픈 웨이트 모델 중 하나에 전달합니다.
왜 모델 혼합(Mixture of Models)인가?
각각의 AI 기능은 서로 다른 요구 사항을 가집니다. 긴 주제를 요약하거나, 검색 임베딩 컨텍스트를 생성하거나, 헬퍼 페르소나를 구동하는 것은 각각 모델에 다른 부담을 줍니다. 컨텍스트 길이, 속도, 추론 깊이, 비용 등 모든 요소가 다릅니다.
모든 기능을 단일 모델에 고정하는 대신, CDCK/MoM은 각 요청을 해당 작업에 가장 적합한 모델로 라우팅합니다. 이를 통해 우리는 다음과 같은 장점을 얻을 수 있습니다:
- 모델을 작업에 맞게 조정 — 빠른 작업에는 고속 모델을, 더 복잡한 작업에는 더 높은 성능을 가진 모델을 사용합니다.
- 최신성 유지 — 더 나은 모델이 출시되면 백엔드에서 풀을 업그레이드할 수 있습니다. 설정 변경 없이도 사이트가 즉시 혜택을 받습니다.
- 무료로 유지 — 효율적인 라우팅 덕분에 호스팅 플랜에 넉넉한 일일 AI 크레딧 할당량을 포함할 수 있습니다.
어떤 모델들이 이 뒤에 있는가?
현재 풀에는 다음 모델들이 포함되어 있습니다:
오픈 모델 환경이 개선됨에 따라 이 라인업은 시간이 지남에 따라 진화할 것입니다. 이것이 바로 라우팅 계층의 목적입니다. 풀이 변경되면 이 주제를 업데이트하겠습니다.
AI 크레딧은 어떻게 작동하는가?
AI 기능이 활성화된 모든 호스팅 사이트는 일일 AI 크레딧 할당량(토큰으로 측정)을 받습니다. CDCK/MoM 사용은 이 할당량에서 차감되며, 매일 초기화됩니다. 대부분의 커뮤니티에게는 내장 AI 기능의 일상적인 사용을 편안하게 커버할 수 있는 충분한 할당량이 포함되어 있습니다.
AI 크레딧에 대한 자세한 내용은 Unlock All Discourse AI Features with Our Hosted LLM 에서, 플랜별 현재 수치는 Discourse pricing | Discourse - Civilized Discussion 에서 확인할 수 있습니다.
자주 묻는 질문
나만의 LLM을 가져다 쓸 수 있나요?
네. CDCK/MoM은 기본값이지 필수 사항은 아닙니다. AI 설정에서 다른 제공업체의 API 키를 구성하여 CDCK/MoM과 함께 사용하거나 대신 사용할 수 있습니다.
요청을 처리하는 모델에 따라 결과가 달라지나요?
풀에 포함된 모델들은 그들이 담당하는 기능에 대해 일관된 품질을 제공하도록 선택되었습니다. 라우팅은 작업별로 이루어지므로, 특정 기능은 예측 가능한 방식으로 작동합니다.
추론(Inference)은 어디에서 수행되며, 내 데이터는 어떻게 처리되나요?
추론은 Discourse 애플리케이션 자체를 실행하는 것과 동일한 서버와 데이터센터에서 수행됩니다. CDCK/MoM을 사용할 때, 사용자의 데이터는 우리의 인프라를 벗어나지 않으며 어떤 제3자 AI 제공업체와도 공유되지 않습니다.
궁금한 점이 있으시면 아래에서 질문해 주세요.