如果你的 Discourse 站点是由我们托管的,你可能已经在 AI 设置中注意到了名为 CDCK Hosted Model 或 CDCK/MoM 的 LLM,它正在为摘要生成、AI 搜索等功能提供支持。本帖将介绍它是什么以及它是如何工作的。
简要说明
CDCK/MoM(「模型混合」)是我们为托管客户提供的内置 LLM,无需额外付费,由你站点的 AI 额度每日配额驱动。它不是单一模型,而是由 CDCK(Discourse 背后的公司)运营的智能路由层,会将每个请求发送到几个精选的开放权重模型中的一个。
为什么要混合多个模型?
不同的 AI 功能有不同的需求。对长话题进行摘要、生成搜索嵌入上下文、以及驱动助手角色,对模型的要求各不相同——上下文长度、速度、推理深度和成本都存在差异。
CDCK/MoM 不会将所有功能都绑定到单一模型,而是将每个请求路由到最适合该任务的模型。这让我们能够:
- 让模型匹配任务 —— 轻量任务交给快速模型;复杂任务交给能力更强的模型。
- 保持前沿 —— 随着更好的模型出现,我们可以在后台升级模型池。你的站点可以立即受益,无需任何配置更改。
- 保持免费 —— 高效的路由让我们能够在托管方案中包含充裕的每日 AI 额度。
背后有哪些模型?
目前模型池包含:
随着开源模型生态的演进,这个阵容会持续变化——这正是路由层的意义所在。模型池有更新时,我们会在本帖同步。
AI 额度是如何工作的?
每个启用了 AI 功能的托管站点都会收到一个每日 AI 额度(以 token 计量)。使用 CDCK/MoM 会消耗该额度,每日重置。对于大多数社区来说,包含的额度完全可以满足日常内置 AI 功能的使用。
更多关于 AI 额度的信息请见 Unlock All Discourse AI Features with Our Hosted LLM ,各方案当前的额度值请见 Discourse pricing | Discourse - Civilized Discussion
常见问题
我还能自带 LLM 吗?
可以。CDCK/MoM 是默认选项,并非强制要求。你可以在 AI 设置中配置其他提供商的 API 密钥,与 CDCK/MoM 搭配使用或完全替代它。
不同模型处理请求,结果会有差异吗?
模型池中的模型经过筛选,能够为其所服务的功能提供一致的质量。路由是按任务进行的,因此特定功能的表现是可预期的。
推理运行在哪里?我的数据会怎样?
推理运行在我们部署 Discourse 应用本身的同一批服务器和数据中心上。使用 CDCK/MoM 时,你的数据永远不会离开我们的基础设施,也不会与任何第三方 AI 提供商共享。
有问题?欢迎在下方留言提问。