CDCK/MoMとは?

DiscourseサイトがCDCKでホストされている場合、AI設定でCDCK Hosted ModelまたはCDCK/MoMというLLM(大規模言語モデル)を目にしたことがあるかもしれません。このモデルは要約、AI検索などの機能を提供しています。本トピックでは、その仕組みと概要を解説します。

概要

CDCK/MoM(“Mixture of Models”、モデルの混合)は、CDCK(Discourseを開発する企業)がホスティング顧客に追加料金なしで提供する内蔵LLMです。各サイトのAIクレジットの毎日割り当てによって動作します。単一のモデルではなく、CDCKが運用するスマートなルーティングレイヤーであり、各リクエストを厳選された複数のオープンウェイトモデルのいずれかに送信します。

なぜモデルの混合なのか?

AI機能によって必要とされる性能は異なります。長いトピックの要約、検索エンベディングのコンテキスト生成、ヘルパーパーソナリティの駆動など、モデルに対する要求は文脈長、速度、推論の深さ、コストなどで異なります。

すべての機能を単一のモデルに固定するのではなく、CDCK/MoMは各リクエストをそのタスクに最も適したモデルにルーティングします。これにより以下が可能になります:

  • タスクに合わせたモデルの選択 — 簡単なタスクには高速なモデルを、複雑なタスクにはより高性能なモデルを割り当てます。
  • 常に最新の状態を維持 — より優れたモデルが利用可能になると、バックエンドでプールを更新できます。ユーザー側での設定変更は一切不要で、サイトは即座に恩恵を受けます。
  • 無料で提供 — 効率的なルーティングにより、ホスティングプランに豊富なAIクレジットの毎日割り当てを含めることができます。

背後にあるモデルは?

現在のプールには以下のモデルが含まれています:

このラインナップは、オープンモデルの環境が改善されるにつれて時間とともに進化します。それがルーティングレイヤーの目的です。プールが変更されるたびに本トピックを更新していきます。

AIクレジットの仕組み

AI機能が有効なホスティングサイトはすべて、AIクレジットの毎日割り当て(トークン単位)を受け取ります。CDCK/MoMの使用はこの割り当てから消費され、毎日リセットされます。大多数のコミュニティでは、標準で含まれる割り当てで内蔵AI機能の日常的な使用を十分にカバーできます。

AIクレジットの詳細は Unlock All Discourse AI Features with Our Hosted LLM 、各プランの現在の値は Discourse pricing | Discourse - Civilized Discussion を参照してください。

よくある質問

独自のLLMを使用できますか?
はい。CDCK/MoMはデフォルト設定であり、必須ではありません。AI設定で他のプロバイダーのAPIキーを設定し、CDCK/MoMと併用したり、代わりに使用したりすることができます。

リクエストを処理するモデルによって結果が異なりますか?
プール内のモデルは、提供する機能に対して一貫した品質を届けるよう選択されています。ルーティングはタスクごとに行われるため、特定の機能は予測可能な動作を示します。

推論はどこで実行され、データはどうなりますか?
推論は、Discourseアプリケーション自体を実行している同じサーバーとデータセンターで実行されます。CDCK/MoMを使用する場合、データは当社のインフラを離れることはなく、第三者のAIプロバイダーと共有されることはありません。

ご質問がある場合は、以下でお気軽にお尋ねください。

「いいね!」 10