keegan
(Keegan George)
1
我们很高兴地宣布，我们的托管客户现在可以使用我们自己的托管、开放权重的大型语言模型（LLM） 来驱动每一个 Discourse AI 功能，该模型预先配置好，并免费包含在您的托管服务中。
这意味着 Starter、Pro、Business 和 Enterprise 客户都可以使用所有 AI 功能，无需任何第三方 LLM 提供商。
启用托管 LLM
该功能应该已经可以在您的站点上通过 LLM 配置页面启用：
管理员 → 插件 → Discourse AI → LLM
默认情况下，“CDCK 托管小型 LLM”将作为您的默认 LLM 被选中，并且您的站点上的任何 角色（persona） 也应可以选择它。
用量和限制
Discourse 通过积分系统来衡量托管 LLM 的使用情况。每个请求或响应的 token 消耗 1 个积分。积分与您的托管级别成正比，并且每天重置。
✱ 某些功能，例如 AI 垃圾邮件检测，将不计入您的积分
每个级别的积分限制可以在我们网站的定价页面上找到。达到每日限制后，任何依赖 LLM 的 AI 功能将暂停，直到第二天积分重置。
如果您很快用完积分，可以考虑使用 LLM 配额系统为每个用户或每组设置限制。如果您需要额外的容量，升级到更高的级别是另一种选择。
您可以随时从管理面板的 AI 用量页面查看站点的 AI 用量。
有关积分耗尽时该怎么做的更多详细信息，请参阅：
14 个赞
mcmcclur
(Mark McClure)
2
CDCK 托管的小型 LLM 是否可以通过 API 供自托管的 Discourse 实例使用？如果是，我猜会产生相关费用。
2 个赞
Falco
(Falco)
3
不，它不可用，我们也不打算这样做。
对于自托管实例，选择 Gemini 免费套餐或 OpenRouter 等是很好的替代方案。
11 个赞
westes
(Will)
6
那么 AI 摘要功能是否仅适用于主题的初始帖子？如果能为线程中冗长复杂的回复提供此功能将非常有价值。
Starter 级别有 15K 每日“AI 点数”。一个点数等于多少？它是一个回复中的单个 token 吗？如果您能在每次 AI 摘要底部显示它使用了多少点数，将会很有用。
Falco
(Falco)
7
摘要已经可以总结整个主题了。
1 个“AI 积分”等于一个 token，无论是在请求中还是在响应中。
例如，在我回复之前，这个主题的摘要使用了 1550 个 token。
我们有一个管理员使用情况页面，其中有关于 token 使用情况的非常详细的报告，我建议您使用该页面。
westes
(Will)
8
总结整个主题很有用，但这不是我讨论的情况。在一个有 150 条回复的主题中，我正在阅读其中一条冗长而复杂的回复。我希望由 AI 来总结那一条回复。Twitter 现在就有这个功能，这是一个非常棒且有用的功能。
如果单次 AI 摘要需要 1500 个 AI 积分，而我们每天只能获得 15K 积分，这意味着只需要 10 个人请求 AI 摘要，我们就用完了所有积分。这使得该功能用处不大。
Falco
(Falco)
9
您可以选择任何帖子中的任何文本，然后点击“询问 AI”，接着使用自定义提示来要求进行总结。
是的，那是我们每天不到 1 美元套餐的免费积分限额。
我们为更高套餐提供更多积分，并且允许所有套餐使用第三方 LLM（大型语言模型），如果他们需要维持更高的使用量的话。
2 个赞
westes
(Will)
10
所以如果我的订阅从每月 20 美元增加到每月 100 美元，我现在每天可以获得 30K AI 积分，而只有 20 个用户使用该功能就会耗尽我的积分？ 我认为对于在我讨论网站上已成为商品的功能来说，这不是一个可行的经济模式。
keegan
(Keegan George)
11
嘿，@westes，
我理解你的感受。我明白信用额度一开始可能会让人觉得有限制。
以下几点可能会帮助你从另一个角度看待这个问题：
积分是每天补充的，所以你每 24 小时会获得 15K（入门版）或 30K（专业版）的新积分。实际上，不太可能在同一天内看到 20 个不同的用户都请求摘要，特别是我们有缓存机制。一旦一个主题被总结，后续用户看到的是缓存版本，而不会消耗额外的积分。但如果你确实看到了这种级别的每日摘要使用量，那其实是个好兆头！这表明你的论坛非常活跃，用户参与度很高。
如果使用量确实如此之高，你可能已经准备好升级到更高的套餐了。商业版套餐（100k 积分）可以舒适地支持一个非常活跃的社区。高 AI 功能使用量通常也表明你在其他方面也超出了当前套餐的承载能力。
在考虑升级套餐之前，按用户设置的配额也有帮助。LLM 配额系统可以让你更可持续地在用户之间分配使用量，这样少数重度用户就不会在一天中过早地用完所有额度。
如果这仍然没有帮助，第三方 LLM 可能更适合你的用例。你可以连接你自己的 LLM 提供商（OpenAI、Anthropic、Gemini 等）。你需要单独为它付费，但这能让你有更多的控制权，并且对于高用量来说可能更经济。
我们正努力提供一个开箱即用的选项，它可以在没有 API 密钥或单独计费的麻烦下为大多数客户提供良好的服务。但你并没有被限制只能使用它。它的目的是提供帮助，如果感觉限制太多，切换到第三方提供商是完全合理的，我们完全支持这一点。
1 个赞
