저희가 Discourse 사이트를 호스팅하고 있다면, AI 설정에서 CDCK Hosted Model 또는 CDCK/MoM이라는 LLM을 보셨을 수 있습니다. 이 모델은 요약, AI 검색 등 다양한 기능을 뒷받침하고 있습니다. 이 글에서는 CDCK/MoM이 무엇이고 어떻게 작동하는지 설명합니다.
핵심 요약
CDCK/MoM(Mixture of Models)은 호스팅 고객에게 추가 비용 없이 제공하는 내장 LLM으로, 사이트의 일일 AI 크레딧 한도를 기반으로 동작합니다. 단일 모델이 아니라, CDCK(Discourse를 만든 회사)가 운영하는 스마트 라우팅 레이어로, 각 요청을 여러 큐레이션된 오픈 웨이트 모델 중 하나로 전송합니다.
왜 Mixture of Models인가요?
각 AI 기능마다 요구사항이 다릅니다. 긴 주제를 요약하고, 검색 임베딩 컨텍스트를 생성하고, 헬퍼 페르소나를 구동하는 것은 각각 모델에 다른 조건을 요구합니다 — 컨텍스트 길이, 속도, 추론 깊이, 비용 모두 다릅니다.
CDCK/MoM은 모든 기능을 단일 모델에 묶어두는 대신, 각 요청에 가장 적합한 모델로 라우팅합니다. 이를 통해:
- 작업에 맞는 모델 선택 — 가벼운 작업은 빠른 모델로, 무거운 작업은 더 뛰어난 모델로 처리합니다.
- 항상 최신 상태 유지 — 더 좋은 모델이 나오면幕后에서 풀을 업그레이드할 수 있습니다. 설정 변경 없이 바로 혜택을 누릴 수 있습니다.
- 무료로 제공 — 효율적인 라우팅 덕분에 호스팅 플랜에 넉넉한 일일 AI 크레딧을 포함할 수 있습니다.
어떤 모델들이 사용되나요?
현재 풀에는 다음 모델이 포함되어 있습니다:
오픈 모델 생태계가 발전함에 따라 이 라인업은 계속 업데이트될 것이며, 이것이 바로 라우팅 레이어의 장점입니다. 풀이 변경되면 이 글을 꾸준히 업데이트하겠습니다.
AI 크레딧은 어떻게 작동하나요?
AI 기능이 활성화된 모든 호스팅 사이트에는 일일 AI 크레딧 한도(토큰 단위로 측정)가 제공됩니다. CDCK/MoM 사용량이 이 한도에서 차감되며, 매일 초기화됩니다. 대부분의 커뮤니티에서는 포함된 한도면 내장 AI 기능의 일상적인 사용에 충분합니다.
AI 크레딧에 대한 자세한 내용은 Unlock All Discourse AI Features with Our Hosted LLM, 플랜별 현재 수치는 Discourse pricing | Discourse - Civilized Discussion 확인하실 수 있습니다.
자주 묻는 질문
자체 LLM을 사용할 수도 있나요?
네, 가능합니다. CDCK/MoM은 기본값일 뿐 필수사항이 아닙니다. AI 설정에서 다른 프로바이더의 API 키를 직접 설정하여 CDCK/MoM과 함께 또는 그 대신 사용할 수 있습니다.
요청을 처리하는 모델에 따라 결과가 달라지나요?
풀 내 모델들은 각 기능을 일관된 품질로 제공하도록 선정되었습니다. 라우팅은 작업 단위로 수행되므로, 특정 기능은 예측 가능한 방식으로 동작합니다.
추론은 어디에서 이루어지며, 데이터는 어떻게 처리되나요?
추론은 Discourse 애플리케이션이 구동되는 것과 동일한 서버와 데이터센터에서 수행됩니다. CDCK/MoM을 사용하면 데이터가 당사 인프라를 벗어나지 않으며, 어떤 서드파티 AI 프로바이더와도 공유되지 않습니다.
궁금한 점이 있으시면 아래에 편하게 질문해 주세요.