CDCK/MoMとは何ですか?

Discourseサイトを当社のホスティングでご利用の方は、AI設定内で「CDCK Hosted Model」または「CDCK/MoM」というLLM(大規模言語モデル)をご覧になったかもしれません。これは要約機能やAI検索などの機能を支えています。本トピックでは、その仕組みと動作方法について説明します。

概要

CDCK/MoM(“Mixture of Models”)は、ホスティングのお客様に追加費用なしで提供する組み込みLLMです。サイトごとに設定されたAIクレジットの1日あたりの枠内で動作します。単一のモデルではなく、CDCK(Discourseの運営会社)が運用するスマートなルーティングレイヤーであり、各リクエストを厳選された複数のオープンウェイトモデルのいずれかに送信します。

なぜモデルの組み合わせ(Mixture of Models)なのか?

AI機能によって必要な性能は異なります。長いトピックの要約、検索用のコンテキスト埋め込み生成、ヘルパーペルソナ(AIアシスタント)の動作など、それぞれがモデルに対して異なる要求をします。コンテキスト長、速度、推論の深さ、コストなど、求められる要素は様々です。

すべての機能を単一のモデルに固定するのではなく、CDCK/MoMは各リクエストを最適なモデルにルーティングします。これにより、以下のことが可能になります。

  • タスクに合ったモデルの選択 — 素早いタスクには高速なモデルを、より高度なタスクには高性能なモデルを割り当てます。
  • 常に最新の状態を維持 — より優れたモデルが登場すれば、バックグラウンドでモデルプールをアップグレードできます。設定変更なしで、すぐにサイトが恩恵を受けます。
  • 無料での提供 — 効率的なルーティングにより、ホスティングプランに十分な量の1日あたりのAIクレジット枠を含めることができます。

裏側にはどのようなモデルがあるのか?

現在のモデルプールには以下が含まれています:

オープンモデルの状況が改善につれて、このラインナップは変化していきます。それがルーティングレイヤーの目的です。モデルプールに変更があった場合、本トピックも更新していきます。

AIクレジットの仕組み

AI機能が有効化されたホスティングサイトには、1日あたりのAIクレジット枠(トークン数で測定)が付与されます。CDCK/MoMの利用はこの枠から引き去られ、毎日リセットされます。ほとんどのコミュニティでは、含まれている枠で組み込みAI機能の日常的な利用を十分にカバーできます。

AIクレジットの詳細は Unlock All Discourse AI Features with Our Hosted LLM を、プランごとの現在の数値は Discourse pricing | Discourse - Civilized Discussion をご覧ください。

よくある質問(FAQ)

自分のLLMを使用することはできますか?
はい。CDCK/MoMはデフォルトであり、必須ではありません。AI設定で他のプロバイダーのAPIキーを設定し、CDCK/MoMと併用したり、代わりに使用したりできます。

リクエストを処理するモデルによって結果が変わりますか?
プール内のモデルは、提供している機能に対して一貫した品質を確保するために選定されています。ルーティングはタスクごとに実行されるため、特定の機能は予測可能な動作を示します。

推論(インフェレンス)はどこで実行され、データはどう扱われますか?
推論は、Discourseアプリケーション自体を稼働させているのと同じサーバーとデータセンターで実行されます。CDCK/MoMを使用する場合、データは当社のインフラストラクチャの外に出ず、サードパーティのAIプロバイダーと共有されることはありません。

ご質問があれば、下記にご記入ください。

「いいね!」 13