弊社のホスティングでDiscourseサイトを運用されている場合、AI設定の中に「CDCK Hosted Model」または「CDCK/MoM」というLLMがSummarization(要約)、AI検索などの機能の基盤として表示されていることにお気づきかもしれません。ここでは、その内容や仕組みについて解説します。
概要
CDCK/MoM(「Mixture of Models=モデルの混合」)は、ホスティングプランのお客様に追加費用なしでご利用いただける内蔵LLMで、サイトのAIクレジットの日次利用枠を活用して動作します。CDCK/MoMは単一のモデルではなく、Discourseの開発元であるCDCKが運営するスマートルーティング層であり、各リクエストを厳選された複数のオープンウェイトモデルのいずれかに振り分けます。
なぜMixture of Models(モデルの混合)なのか?
AI機能ごとに求められるものが異なります。長いトピックの要約、検索用埋め込みのコンテキスト生成、ヘルパーペルソナとしての機能——これらはそれぞれ、コンテキスト長、速度、推論の深さ、コストなど、異なる要件をモデルに求めます。
CDCK/MoMはすべての機能を単一のモデルに固定する代わりに、各リクエストに最適なモデルへ振り分けます。これにより、次のようなメリットがあります:
- タスクごとに最適なモデルを選択 — 軽めのタスクには高速なモデル、複雑なタスクには高性能なモデルを割り当てます。
- 常に最新を保つ — より優れたモデルが登場すれば、裏側でモデルプールをアップデートできます。お客様のサイトで設定を変更することなく、すぐにご活用いただけます。
- 無料で使い続けられる — 効率的なルーティングにより、ホスティングプランに generousな日次AIクレジット枠を含めて提供できます。
裏で動作しているモデル
現在のモデルプールには、以下が含まれています:
オープンモデルの環境が進化に伴い、このラインナップも変化していきます。それがこのルーティング層の狙いです。プールに変更があれば、このトピックを更新してご案内します。
AIクレジットの仕組み
AI機能を有効にしているすべてのホスティングサイトには、日次AIクレジット枠(トークン数で計測)が付与されます。CDCK/MoMの利用はこの枠から消費され、毎日リセットされます。ほとんどのコミュニティにとって、内蔵AI機能の日常的な利用には含まれている枠で十分対応できます。
AIクレジットの詳細: Unlock All Discourse AI Features with Our Hosted LLM 各プランの現在の利用枠: Discourse pricing | Discourse - Civilized Discussion
よくあるご質問
独自にLLMを導入することもできますか?
はい。CDCK/MoMはデフォルト設定であり、必須ではありません。AI設定で他のプロバイダーのAPIキーを設定すれば、CDCK/MoMと併用、またはCDCK/MoMの代わりにご利用いただけます。
リクエストを処理するモデルによって結果が変わりますか?
プール内のモデルは、担当する機能に対して一貫した品質を提供できるよう選ばれています。ルーティングはタスク単位で行われるため、特定の機能は安定した挙動を見せます。
推論はどこで実行され、データはどうなりますか?
推論はDiscourseアプリケーションそのものが稼働しているのと同じサーバー・データセンターで実行されます。CDCK/MoMをご利用の場合、データが弊社のインフラの外に出ることはなく、第三者のAIプロバイダーと共有されることもありません。
ご質問は、下記のトピックで気軽にお寄せください。