我做了一些计算，得出的结论是，如果没有能力限制用户每月或每天的 token 输入和输出，很快就会陷入困境。目前，限制用户与 AI 机器人交互的唯一方法是仅允许 AI 机器人在私信中使用（禁用每个角色的聊天功能），并设置每日允许的私信数量限制——但这显然不现实。以下是一个“最坏情况”成本明细示例，它证明了此功能的需求，采用了 OpenAI 为其 chatGPT 会员使用的方法：
GPT-4o mini，32k 上下文（附注：上下文长度通过 LLM 设置页面上的“提示的 token 数量”设置来确定）
当前成本：100 万输入 0.15 美元 / 100 万输出 0.60 美元
假设用户每天输入 32k token，输出 16k token，持续 30 天（典型订阅的计费周期）：
每月输入成本 = 960,000 token = 约 0.14 美元
每月输出成本 = 480,000 token = 约 0.28 美元
好吧，这其实不算多，对吧？不到半美元。然而，这实际上是相当低的用量，尤其是考虑到 GPT-4o mini 单次最多可以生成 16.4k token（尽管是的，你当然可以设计提示和 LLM 设置来阻止这种情况）。你可以将这些成本乘以你认为用户会使用 AI 机器人的次数。最糟糕的是，这是一个非常便宜的模型；Claude 3.5 Sonnet（100 万输入 3 美元 / 100 万输出 15 美元）和 GPT-4o（100 万输入 5 美元 / 100 万输出 15 美元）的成本呈指数级增长——更不用说 GPT-4 Turbo 了，哈哈。这是 Claude 3.5 Sonnet 的相同明细：
Claude 3.5 Sonnet，32k 上下文
每月输入成本 = 约 2.88 美元
每月输出成本 = 约 7.20 美元
总计 = 约 10.08 美元
但同样：这是低用量。因此，可以清楚地看出，无限制地使用 AI 机器人中的 LLM 会有多昂贵。如果将其乘以 2，那么你需要收取 25 美元的订阅费才能获得略低于 5 美元的利润 
我正式提出的建议是：
- 一项设置，允许为特定用户组在每月或每天为 AI 机器人设置特定的 token 输入和输出量。
- 此 token 用量不包括角色的系统提示。
- Token 限制可以是每个 LLM、每个角色或通用/全部。
- 作为点 1 的替代方案，可以使用一个简单的整数限制来使用 DM 和 PM 中的 AI 机器人。例如：每天限制向任何角色发送 100 条 DM。
- 一项设置，允许为特定用户组在每月或每天为 AI 助手设置特定的 token 输出量。
- Token 输入可以不计费，因为用户很难猜测一个长话题在生成摘要时有多少 token。
- 最好对自定义提示的长度（以单词为单位，这样就不需要使用 TikToken）设置一个硬性整数限制，这样用户就不会试图通过将 Composer 用作无限制的聊天机器人来规避他们的月度/每日限制
- 用户个人资料中的 token 计数器，甚至可能在他们的 PM 和 DM 中。如果每个用户和 AI 消息旁边都有一个文本显示其 token 数量，那就太好了（我们不一定希望每个人都能使用调试功能，而且该功能仅在 PM 中有效）
- 一个单独的 AI 助手 token 计数器（以帮助区分这两个功能），它在 explain、proofread、custom prompt 等之间共享计数……
题外话：我绝不是在批评此功能或开发人员，如果我的任何言论听起来像那样，我深表歉意。老实说，Discourse AI 插件是我最喜欢的技术之一。实际上，它使我能够在不雇佣额外工程师和支付额外基础设施费用的情况下，作为一名 AI 研究员和教育者来建立我的梦想业务——我可以自己完成所有设置 
。我仅仅认为，这个功能不仅对我来说，而且对许多其他希望让他们的用户在合理范围内享受这项出色技术的 Discoursers 来说，是最后一块拼图。
也许您是托管用户，无法访问我的插件？
。我使用的是 droplet，所以不是这个问题。
相反，问题出在我这边；我正在尝试做一些非常小众的事情。
令牌限制是否会与订阅挂钩？ 如果我们可以控制使用量并允许为更昂贵的模型收费，那将是极好的。