如果您的 Discourse 站点由我们托管,您可能在 AI 设置中注意到有一个名为 CDCK Hosted Model 或 CDCK/MoM 的大型语言模型(LLM),它为摘要生成、AI 搜索等功能提供支持。本主题将解释其工作原理及运作方式。
简要说明
CDCK/MoM(“模型混合”)是我们为托管客户提供的内置大型语言模型,无需额外付费,由您站点每日分配的 AI 积分 提供支持。它并非单一模型,而是由 CDCK(Discourse 背后的公司)运营的智能路由层,会将每个请求发送至多个精选的开放权重模型之一。
为何采用模型混合?
不同的 AI 功能有不同的需求。总结长篇主题、生成搜索嵌入上下文以及驱动助手角色等功能,对模型的要求各不相同——上下文长度、速度、推理深度和成本均存在差异。
CDCK/MoM 并非将所有功能锁定在单一模型上,而是将每个请求路由至最适合该任务的模型。这使我们能够:
- 按需匹配模型——轻量任务使用快速模型;繁重任务使用能力更强的模型。
- 保持更新——随着更优模型的问世,我们可以在后台升级模型池。您的站点可立即受益,无需进行任何配置更改。
- 保持免费——高效的路由机制使我们能够在托管计划中包含慷慨的每日 AI 积分额度。
背后有哪些模型?
当前模型池包括:
随着开放模型生态的进步,这一阵容将不断演变——这正是路由层的意义所在。我们将随着模型池的变化持续更新本主题。
AI 积分如何运作?
每个启用 AI 功能的托管站点都会获得 每日 AI 积分额度(以 token 为单位)。使用 CDCK/MoM 会消耗此额度,且每日重置。对于大多数社区而言,包含的额度足以轻松覆盖内置 AI 功能的日常使用。
更多有关 AI 积分的信息请访问 Unlock All Discourse AI Features with Our Hosted LLM Discourse pricing | Discourse - Civilized Discussion
常见问题
我是否仍可使用自己的大型语言模型?
可以。CDCK/MoM 是默认选项,而非强制要求。您可以在 AI 设置中配置其他提供商的 API 密钥,并将其与 CDCK/MoM 结合使用或作为替代方案。
我的结果是否会因处理请求的模型不同而有所差异?
模型池中的模型经过精选,以确保为其服务的功能提供一致的质量。路由是按任务进行的,因此特定功能的表现将是可预测的。
推理在何处运行?我的数据会发生什么?
推理在与我们运行 Discourse 应用程序相同的服务器和数据中心上进行。使用 CDCK/MoM 时,您的数据永远不会离开我们的基础设施,也不会与任何第三方 AI 提供商共享。
如有疑问,请在下方提问。