在 Discourse AI 中配置 LLM 使用限额

:bookmark: 本指南介绍如何在 Discourse AI 中配置和管理大型语言模型 (LLM) 的使用配额。

:person_raising_hand: 所需用户级别:管理员

摘要

LLM 使用配额允许管理员通过为不同用户组设置令牌使用量和交互次数限制,来控制和监控 AI 资源消耗。这有助于在确保社区对 AI 功能的公平访问的同时,保持成本效益。

配置

访问配额设置

  1. 导航到您的站点管理面板
  2. 前往 管理 > 插件 > Discourse AI > LLMs
  3. 选择要配置的 LLM 模型

设置配额

您可以为每个用户组配置:

  • 最大令牌使用量
  • 和/或最大 AI 交互次数
  • 重置周期持续时间

每个配额必须至少设置了最大令牌数或最大使用次数中的一个。

:notepad_spiral: 注意: “everyone”组不能分配配额。您必须使用特定的组(例如,信任级别组或自定义组)。

持续时间选项

从预设重置周期中选择:

  • 1 小时
  • 6 小时
  • 24 小时
  • 7 天
  • 自定义持续时间(以小时为单位指定)

使用情况监控

查看统计数据

管理员可以在以下位置监控令牌消耗和使用情况:https://SITENAME/admin/plugins/discourse-ai/ai-usage

  1. 导航到 管理 > 插件 > Discourse AI
  2. 选择“使用情况”选项卡
  3. 按日期范围、用户组或特定指标筛选

用户体验

配额通知

当接近或达到配额限制时,用户会收到清晰的反馈:

  • 当前使用状态
  • 下一次配额重置前的时间

错误消息

当超出配额时,用户会看到:

  • 一条清晰的通知,说明已达到配额限制
  • 距离下一次配额重置的剩余时间

最佳实践

  1. 保守开始:从较低的配额开始,并根据实际使用情况进行调整
  2. 基于组的分配:根据用户组的需求和角色分配不同的配额
  3. 定期监控:审查使用模式以优化配额设置
  4. 清晰沟通:告知用户配额限制和重置周期

常见问题与解决方案

问题:用户频繁达到限制

解决方案:考虑:

  • 增加特定组的配额限制
  • 缩短重置周期
  • 为高使用率用户创建专门的组

问题:未使用的配额

解决方案

  • 降低限制以优化资源分配
  • 审查组分配,确保配额与用户需求相符

常见问题解答 (FAQ)

问:未使用的配额会结转吗?
答:不会,配额在每个周期结束时完全重置。

问:不同的 LLM 模型可以有不同的配额吗?
答:是的,可以为每个 LLM 独立配置配额。

问:如果为一个 LLM 设置了多个配额会怎样?
答:配额是基于的,并按用户应用的。用户要超过配额,必须在所有组中都超过配额。这意味着,如果您给管理员一个非常宽松的配额,而给信任级别 1 一个更严格的配额,管理员配额将应用于管理员。

问:如果没有为 LLM 应用配额会怎样?
答:不会发生任何特殊情况,所有 LLM 使用都将不计量。

问:如果我希望不同功能有不同的配额怎么办?
答:Discourse AI 允许您定义多个 LLM,它们都可以联系同一个端点,如果需要,甚至可以重用密钥。如果您想为 AI 助手提供一个配额,为 AI Agent 提供另一个配额,请定义 2 个 LLM。

问:如何移除配额?
答:从 LLM 模型的配置页面删除该配额。没有办法暂时“暂停”或禁用配额——它必须被删除并重新创建。

附加资源

11 个赞

我们似乎无法通过将配额设置为 0 来完全禁止某个组使用特定模型。

您能否为此设置添加支持?

抱歉,你能在这里详细说明一下吗?每个功能也都是分组限制的,所以你无论如何只能为部分用户启用助手。

我希望某些高级模型仅限于特定组。如果我们可以将模型的配额设置为 0,以便禁用对某些组的访问,那就太好了。

2 个赞

是的,这是一个有趣的问题。我会仔细考虑一下。

您可能希望助手为“特殊组 1”使用 GPT4o,为其他人使用 GPT4o mini。

目前,我们只允许您选择一个模型作为 AI 助手,因此需要进行相当大的更改才能支持此功能。

@Falco / @Saif / @awesomerobot,值得思考。

5 个赞