在 Discourse AI 中配置 LLM 使用配额

文档 网站管理
, ,
1

:bookmark: 本指南将介绍如何在 Discourse AI 中配置和管理大型语言模型 (LLM) 的使用配额。

:person_raising_hand: 所需用户级别：管理员

摘要

LLM 使用配额允许管理员通过为不同用户组设置令牌使用和交互限制来控制和监控 AI 资源消耗。这有助于保持成本效益，同时确保社区内对 AI 功能的公平访问。

配置

访问配额设置

  1. 导航到您的站点管理面板
  2. 转到 管理 (Admin) > 插件 (Plugins) > Discourse AI > LLM 模型 (LLM Models)
  3. 选择您要配置的 LLM 模型

The image displays a user interface section for configuring AI settings, including a selected "gt-4o" user, an option for "Add quota," and action buttons for "Save" and "Delete," with vision and bot selector enabled. (Captioned by AI)
The image displays a user interface section for configuring AI settings, including a selected "gt-4o" user, an option for "Add quota," and action buttons for "Save" and "Delete," with vision and bot selector enabled. (Captioned by AI)1193×512 25.3 KB

A screenshot of a "Create New Quota" interface on Dialogflow, featuring settings to define the group, max tokens, max uses, and duration for the quota. (Captioned by AI)
A screenshot of a "Create New Quota" interface on Dialogflow, featuring settings to define the group, max tokens, max uses, and duration for the quota. (Captioned by AI)773×596 28.2 KB

The image displays a settings panel for a subscription group named "trust level 0" with options to add quotas, max tokens set to 100,000, and a maximum usage of 50 times with a duration of 24 hours. (Captioned by AI)
The image displays a settings panel for a subscription group named "trust level 0" with options to add quotas, max tokens set to 100,000, and a maximum usage of 50 times with a duration of 24 hours. (Captioned by AI)1315×210 10.7 KB

设置配额

对于每个用户组，您可以配置：

  • 最大令牌使用量
  • 以及/或最大 AI 交互次数
  • 重置周期时长

持续时间选项

从预设的重置周期中选择：

  • 1 小时
  • 6 小时
  • 24 小时
  • 7 天
  • 自定义时长（以小时为单位）

使用情况监控

查看统计信息

管理员可以在以下位置监控令牌消耗和使用情况：https://SITENAME/admin/plugins/discourse-ai/ai-usage

  1. 导航到 管理 (Admin) > 插件 (Plugins) > Discourse AI
  2. 选择“使用情况 (Usage)”选项卡
  3. 按日期范围、用户组或特定指标进行筛选

用户体验

配额通知

用户在接近或达到配额限制时会收到清晰的反馈：

  • 当前使用状态
  • 距离下次配额重置的时间

错误消息

当配额被超出时，用户会看到：

  • 一条清晰的通知，表明配额限制已被达到
  • 距离下次配额重置的剩余时间

最佳实践

  1. 保守开始：从较低的配额开始，并根据实际使用模式进行调整
  2. 基于组的分配：根据用户组的需求和角色分配不同的配额
  3. 定期监控：查看使用模式以优化配额设置
  4. 清晰沟通：告知用户配额限制和重置周期

常见问题及解决方案

问题：用户频繁达到限制

解决方案：考虑：

  • 增加特定组的配额限制
  • 缩短重置周期
  • 为高使用率用户创建专门的组

问题：未使用完的配额

解决方案：

  • 向下调整限制以优化资源分配
  • 审查组分配，确保配额符合用户需求

常见问题解答

问：配额可以暂时暂停吗？
答：是的，管理员可以暂时禁用特定组或整个站点的配额强制执行。

问：未使用的配额会结转吗？
答：不会，配额在每个周期结束时会完全重置。

问：不同的 LLM 模型可以有不同的配额吗？
答：是的，可以为每个 LLM 独立配置配额。

问：如果为单个 LLM 设置了多个配额，会发生什么？
答：配额是基于组的，并且按用户应用。用户要超出配额，必须在所有组中超出配额。这意味着，如果您为管理员设置了非常宽松的配额，而为信任级别 1 设置了更严格的配额，则管理员配额将应用于管理员。

问：如果没有为 LLM 应用配额会怎样？
答：不会发生任何特殊情况，所有 LLM 使用都将不受计量。

问：如果我希望不同功能有不同的配额怎么办？
答：Discourse AI 允许您定义多个 LLM，它们可以连接到同一个端点，甚至可以重用密钥。如果您希望为 AI 助手设置一个配额，为 AI Bot 设置另一个配额，则可以定义 2 个 LLM。

附加资源

10 个赞
2

我们似乎无法通过将配额设置为 0 来完全禁止某个组使用特定模型。

您能否为此设置添加支持？

3

抱歉，你能在这里详细说明一下吗？每个功能也都是分组限制的，所以你无论如何只能为部分用户启用助手。

4

我希望某些高级模型仅限于特定组。如果我们可以将模型的配额设置为 0，以便禁用对某些组的访问，那就太好了。

2 个赞
5

是的，这是一个有趣的问题。我会仔细考虑一下。

您可能希望助手为“特殊组 1”使用 GPT4o，为其他人使用 GPT4o mini。

目前，我们只允许您选择一个模型作为 AI 助手，因此需要进行相当大的更改才能支持此功能。

@Falco / @Saif / @awesomerobot，值得思考。

5 个赞