在 Discourse AI 中配置 LLM 使用配额

:bookmark: 本指南介绍如何配置和管理 Discourse AI 中大型语言模型(LLM)的使用配额。

:person_raising_hand: 所需用户权限:管理员

概述

LLM 使用配额允许管理员通过为不同用户组设置令牌使用量和交互次数的限制,来控制并监控 AI 资源的消耗。这有助于在确保社区内公平访问 AI 功能的同时,保持成本效益。

配置

访问配额设置

  1. 进入站点的管理面板
  2. 前往 Admin > Plugins > Discourse AI > LLMs
  3. 选择要配置的 LLM 模型

设置配额

对于每个用户组,您可以配置:

  • 最大令牌使用量
  • 和/或最大 AI 交互次数
  • 和/或最大成本
  • 重置周期时长

每个配额必须至少设置最大令牌数或最大使用次数中的一项。

:notepad_spiral: 注意: 无法为“everyone”(所有人)组分配配额。您必须使用特定组(例如信任等级组或自定义组)。

时长选项

从预设的重置周期中选择:

  • 1 小时
  • 6 小时
  • 24 小时
  • 7 天
  • 自定义时长(以小时为单位指定)

使用监控

查看统计信息

管理员可以在以下位置监控令牌消耗和使用情况:https://SITENAME/admin/plugins/discourse-ai/ai-usage

  1. 前往 Admin > Plugins > Discourse AI
  2. 选择“Usage”(使用情况)选项卡
  3. 按日期范围、用户组或特定指标进行筛选

用户体验

配额通知

当用户接近或达到配额限制时,会收到清晰的反馈:

  • 当前使用状态
  • 距离下次配额重置的时间

错误消息

当配额超出时,用户会看到:

  • 一条清晰的通知,表明已达到配额限制
  • 距离下次配额重置的剩余时间

最佳实践

  1. 保守起步:从较低的配额开始,并根据实际使用模式进行调整
  2. 基于组的分配:根据用户组的需求和角色分配不同的配额
  3. 定期监控:查看使用模式以优化配额设置
  4. 清晰沟通:告知用户配额限制和重置周期

常见问题及解决方案

问题:用户频繁达到限制

解决方案:考虑:

  • 为特定组增加配额限制
  • 缩短重置周期
  • 为高用量用户创建专用组

问题:配额未使用

解决方案

  • 向下调整限制以优化资源分配
  • 审查组分配,确保配额符合用户需求

常见问题解答

问:未使用的配额会累积吗?
答:不会,配额在每个周期结束时完全重置。

问:不同的 LLM 模型可以有不同的配额吗?
答:可以,可以为每个 LLM 独立配置配额。

问:如果为单个 LLM 设置了多个配额会怎样?
答:配额是基于组的,并按用户应用。用户只有在所有组中都超出配额时,才算超出配额。这意味着,如果您为管理员设置非常宽松的配额,而为信任等级 1 设置更严格的配额,管理员将适用管理员的配额。

问:如果 LLM 没有应用配额会怎样?
答:不会发生特殊情况,所有 LLM 的使用都将是不计量的。

问:如果我想为不同功能设置不同的配额怎么办?
答:Discourse AI 允许您定义多个 LLM,它们都可以联系同一个端点,甚至可以根据需要重用密钥。如果您希望为 AI 助手分配一个配额,而为 AI Agent 分配另一个配额,请定义 2 个 LLM。

问:如何移除配额?
答:从 LLM 模型的配置页面删除配额。没有办法暂时“暂停”或禁用配额——必须删除并重新创建。

其他资源

12 个赞

我们似乎无法通过将配额设置为 0 来完全禁止某个组使用特定模型。

您能否为此设置添加支持?

抱歉,你能在这里详细说明一下吗?每个功能也都是分组限制的,所以你无论如何只能为部分用户启用助手。

我希望某些高级模型仅限于特定组。如果我们可以将模型的配额设置为 0,以便禁用对某些组的访问,那就太好了。

2 个赞

是的,这是一个有趣的问题。我会仔细考虑一下。

您可能希望助手为“特殊组 1”使用 GPT4o,为其他人使用 GPT4o mini。

目前,我们只允许您选择一个模型作为 AI 助手,因此需要进行相当大的更改才能支持此功能。

@Falco / @Saif / @awesomerobot,值得思考。

5 个赞