什么是 CDCK/MoM?

如果您的 Discourse 站点由我们托管,您可能已经注意到 AI 设置中有一个名为 CDCK Hosted ModelCDCK/MoM 的大语言模型(LLM),它为摘要生成、AI 搜索等功能提供支持。本主题将解释它是什么以及它是如何工作的。

简而言之

CDCK/MoM(“混合模型”,Mixture of Models)是我们为托管客户提供的内置 LLM,无需额外费用,由您站点每日的 AI 积分(AI credits)额度驱动。它并不是单一模型,而是由 CDCK(Discourse 背后的公司)运营的智能路由层,会将每个请求发送给几个精选的开源权重模型之一。

为什么要使用混合模型?

不同的 AI 功能有不同的需求。对长主题进行摘要生成、生成搜索嵌入上下文以及驱动助手角色,对模型的要求各不相同——上下文长度、速度、推理深度和成本都存在差异。

CDCK/MoM 不会将所有功能锁定在单一模型上,而是将每个请求路由到最适合该任务的模型。这使我们能够:

  • 让模型匹配任务 —— 快速任务使用快速模型;更复杂的任务使用能力更强的模型。
  • 保持与时俱进 —— 当有更好模型可用时,我们可以随时在后台升级模型池。您的站点可以立即受益,且无需您进行任何配置更改。
  • 保持免费 —— 高效的路由意味着我们可以在托管计划中包含慷慨的每日 AI 积分额度。

背后是哪些模型?

目前的模型池包括:

随着开源模型生态系统的改进,这一阵容将不断演变——这正是路由层存在的意义。当模型池发生变化时,我们会持续更新此主题。

AI 积分是如何运作的?

每个启用 AI 功能的托管站点都会获得 每日 AI 积分额度(以令牌/token 计)。使用 CDCK/MoM 会消耗此额度,且额度每天重置。对于大多数社区来说,包含的额度足以轻松覆盖内置 AI 功能的日常使用。

关于 AI 积分的更多信息,请访问 Unlock All Discourse AI Features with Our Hosted LLM ,各计划当前的具体数值请访问 Discourse pricing | Discourse - Civilized Discussion

常见问题

我还可以自带 LLM 吗?
可以。CDCK/MoM 是默认选项,而非强制要求。您可以在 AI 设置中配置其他提供商的 API 密钥,并将它们与 CDCK/MoM 一起使用,或完全替代 CDCK/MoM。

我的结果是否会因处理请求的模型不同而有所差异?
模型池中的模型是经过精心挑选的,旨在为其服务的功能提供一致的质量。路由是按任务进行的,因此特定功能的表现将是可预测的。

推理在何处运行,我的数据会发生什么?
推理在与我们运行 Discourse 应用程序相同的服务器和数据中心上进行。使用 CDCK/MoM 时,您的数据永远不会离开我们的基础设施,也不会与任何第三方 AI 提供商共享。

有问题?请在下方提问。

13 个赞