호스팅 LLM으로 Discourse AI 기능 전체 잠금 해제

당신의 호스팅 고객이 이제 자체 호스팅된 오픈 웨이트 LLM[1]을 사용하여 모든 Discourse AI 기능을 구동할 수 있게 되었다는 소식을 기쁘게 전해 드립니다. 이 LLM은 사전 구성되어 있으며, 호스팅 서비스에 무료로 포함되어 제공됩니다.

즉, Starter, Pro, Business, Enterprise 모든 고객은 제3자 LLM 제공업체가 필요 없이 모든 AI 기능을 사용할 수 있습니다.

:gear: 호스팅 LLM 활성화

이 기능은 이미 사용 가능해야 하며, LLM 구성 페이지에서 활성화되어 있을 것입니다:

Admin → Plugins → Discourse AI → LLMs

기본적으로 "CDCK Hosted Small LLM"이 기본 LLM으로 선택되며, 사이트의 모든 페르소나에서 선택할 수 있도록 설정되어 있어야 합니다.

:chart_increasing: 사용량 및 한도

Discourse는 크레딧 시스템을 통해 호스팅 LLM 사용량을 측정합니다. 각 요청 또는 응답 토큰당 1크레딧이 소모됩니다. 크레딧은 호스팅 등급에 비례하여 할당되며, 매일 초기화됩니다.

AI 스팸 감지와 같은 일부 기능은 크레딧으로 계산되지 않습니다.

등급별 크레딧 한도는 웹사이트 가격 페이지에서 확인할 수 있습니다. 일일 한도에 도달하면, LLM에 의존하는 AI 기능은 다음 날 크레딧이 초기화될 때까지 일시 중단됩니다.

크레딧이 빠르게 소모되고 있다면, 사용자별 또는 그룹별 제한을 설정하기 위해 LLM 할당량 시스템을 사용하는 것을 고려해 보세요. 추가 용량이 필요하다면 더 높은 등급으로 업그레이드하는 것도 하나의 방법입니다.

관리자 패널의 AI 사용량 페이지에서 언제든지 사이트의 AI 사용량을 확인할 수 있습니다.

크레딧이 소진되었을 때의 조치에 대한 자세한 내용은 다음을 참조하세요:


  1. Large Language Model ↩︎

18개의 좋아요

CDCK Hosted Small LLM을 셀프호스팅된 Discourse 인스턴스에서 사용할 수 있는 API가 제공되나요? 그렇다면 관련 비용이 발생할 것으로 추정됩니다.

3개의 좋아요

아니요, 현재 제공되지 않으며 그렇게 할 계획도 없습니다.

셀프호스팅 인스턴스의 경우, Gemini 무료 티어나 OpenRouter와 같은 옵션을 사용하는 것이 좋은 대안입니다.

12개의 좋아요

즉, AI 요약 기능이 주제 내의 첫 번째 게시물(마스터 포스트)에만 적용되는 건가요? 긴 글이나 복잡한 내용을 담은 스레드 안의 개별 답변에도 이 기능이 적용될 수 있다면 매우 유용할 것 같습니다.

Starter 등급에는 일일 “AI 크레딧” 15,000개가 제공됩니다. 크레딧 1개는 무엇을 의미하나요? 답변의 단일 토큰을 의미하나요? 각 AI 요약 하단에 해당 요약에 사용된 크레딧 수량을 표시해 주시면 도움이 될 것 같습니다.

요약 기능은 이미 전체 주제를 요약합니다.

“AI 크레딧” 1개는 요청이나 응답 중 어느 쪽이든 토큰 1개입니다.

예를 들어, 제 답글 이전의 이 주제 요약을 생성하는 데 1,550개의 토큰이 사용되었습니다.

토큰 사용량에 대한 매우 상세한 보고서를 제공하는 관리자 사용량 페이지가 있으니, 해당 페이지를 사용하는 것을 권장합니다.

1개의 좋아요

전체 주제를 요약하는 것은 유용하지만, 제가 언급한 경우는 그렇지 않습니다. 150개의 답변이 있는 주제에서 길고 복잡한 특정 답변 하나를 읽고 있을 때, AI가 그 답변 하나를 요약해 주기를 원합니다. 이 기능은 현재 트위터에도 있으며 훌륭하고 유용한 기능입니다.

AI 요약 한 번에 1,500개의 AI 크레딧이 소모되고, 하루에 15,000개의 크레딧만 제공된다면, 단 10명만 AI 요약을 요청해도 크레딧이 모두 소진됩니다. 이는 이 기능이 매우 유용하지 않다는 것을 의미합니다.

어떤 게시물의 어떤 텍스트든 선택한 후 “AI에게 묻기”를 클릭하고, 사용자 지정 프롬프트를 사용하여 요약을 요청할 수 있습니다.

네, 하루 1달러 미만의 플랜에 포함된 무료 크레딧 한도입니다.

더 높은 플랜에서는 더 많은 크레딧을 제공하며, 더 많은 사용량이 필요한 경우 모든 플랜에서 서드파티 LLM을 사용할 수 있도록 허용합니다.

3개의 좋아요

즉, 월 20달러에서 100달러로 올렸을 때 하루 3만 개의 AI 크레딧을 받게 되는데, 이 기능을 사용하는 20명의 사용자만으로도 내 크레딧이 모두 소진된다는 뜻인가요? 토론 사이트에서 이미 보편화된 기능이 된 이 기능에 대해, 이는 현실적인 비즈니스 모델이 아니라고 생각합니다.

안녕하세요 @westes,

말씀하신 내용 잘 들었습니다. 처음에는 크레딧 한도가 다소 제한적으로 느껴질 수 있다는 점을 충분히 이해합니다.

상황을 좀 더 객관적으로 바라볼 수 있도록 몇 가지 참고 사항을 드리고자 합니다:

크레딧은 매일 충전되므로, 24시간마다 새로운 크레딧(Starter 플랜의 경우 15K, Pro 플랜의 경우 30K)을 사용할 수 있습니다. 실제로는 캐싱 기능이 적용되어 있어, 같은 날 20명의 다른 사용자가 모두 요약 기능을 요청하는 경우는 매우 드뭅니다. 특정 주제가 한 번 요약되면, 이후 사용자들은 추가 크레딧을 소모하지 않고 캐시된 버전을 볼 수 있습니다. 하지만 만약 실제로 매일 요약 사용량이 그 정도 수준이라면, 오히려 좋은 신호입니다! 이는 포럼이 매우 활발하고 사용자들의 참여도가 높다는 것을 의미하기 때문입니다.

만약 사용량이 실제로 그렇게 높다면, 더 높은 등급의 플랜으로 전환할 시기가 왔을 수 있습니다. Business 등급(100k 크레딧)은 매우 활발한 커뮤니티를 여유롭게 지원할 수 있습니다. AI 기능 사용량이 높은 것은 현재 플랜의 다른 측면에서도 한계에 도달하고 있다는 신호일 수 있습니다.

등급 업그레이드를 고려하기 전에, 사용자별 할당량(quota) 설정도 도움이 될 수 있습니다. LLM 할당 시스템을 사용하면 사용자 간에 사용량을 더 지속 가능한 방식으로 분배할 수 있어, 소수의 적극적 사용자들이 하루 시작부터 모든 크레딧을 소진하는 상황을 방지할 수 있습니다.

이 방법으로도 도움이 되지 않는다면, 서드파티 LLM이 사용자의 용도에 더 적합할 수 있습니다. 직접 LLM 제공업체(OpenAI, Anthropic, Gemini 등)를 연결할 수 있습니다. 이 경우 별도로 비용을 지불하게 되지만, 더 많은 통제권을 가질 수 있고 대량 사용 시 더 경제적일 수 있습니다.

우리는 API 키나 별도 결제의 번거로움 없이 대부분의 고객에게 잘 작동하는 즉시 사용 가능한 옵션을 제공하려 노력하고 있습니다. 하지만 이를 반드시 사용해야 하는 것은 아닙니다. 이 기능은 도움을 주기 위한 것이며, 너무 제한적으로 느껴진다면 서드파티 제공업체로 전환하는 것도 완전히 타당하며, 우리는 이를 완전히 지원합니다.

5개의 좋아요

이 서비스를 출시한 이후 용량을 여러 번 확대했습니다.

플랜 이전 현재 증가율
무료 - 100K -
스타터 15K 200K 13.3배
프로 30K 500K 16.7배
비즈니스 100K 1M 10배
엔터프라이즈 300K 3M 10배

제공하는 모델도 현재 최첨단 오픈 웨이트 모델로 업데이트되었습니다. 단일 요청의 최대 토큰 수는 두 배로 증가했고, 초당 토큰 처리 용량도 두 배로 늘었으며, 첫 토큰 수신 시간(TTFT)이 크게 개선되었습니다.

새로운 제한 사항은 가격 페이지와 고객의 AI LLM 페이지에서 모두 적용되고 있습니다.

11개의 좋아요