要使用某些 Discourse AI 功能，用户需要使用大型语言模型 (LLM) 提供商。请参阅每个 AI 功能以确定兼容的 LLM。
如果成本是一个重要的担忧，一种方法是 直接从供应商处设置使用限制 并使用月度预算。另一种选择是仅允许选定的用户和群组访问 AI 功能。
在使用 LLM 的成本计算时，有几个可变的因素需要考虑。
简化的视图将是……
- LLM 模型和定价 → 确定您计划使用的特定 LLM 模型，并查找其输入和输出 token 的最新定价详情。
- 输入 token → 输入提示的平均 token 长度。
- 输出 token → 这是模型以 token 为单位的响应。
现在，让我们以 Meta 上 AI Bot 的使用为例进行说明。
在此计算过程中进行了许多简化，例如 token 使用量、使用 AI Bot 的用户以及平均请求数。这些数字仅应作为一般指南。特别是，我们对 AI Bot 进行了大量实验。
-
使用数据浏览器了解平均请求/响应 token 以及此处的所有其他数据。
-
平均而言，响应 token 是请求 token 的 3 到 5 倍 [1]。
-
假设平均用户请求 token 为 85，相当于 <1 段 [2]。
-
假设平均响应 token 为 85 x 4 = 340 个 token，相当于 3 段。
-
使用 OpenAI 的 GPT-4 Turbo，输入 token 的成本为 10 美元/100 万 token = 0.00001 美元/token x 85 token = 输入 0.00085 美元。
-
对于输出 token，成本为 30.00 美元/100 万 token = 0.00003 美元/token x 340 token = 输出 0.0102 美元。
-
每个请求的总成本为 0.00085 美元 + 0.0102 美元 = 0.01105 美元。
-
在 2024 年 2 月，约有 600 名用户使用 AI Bot，该月平均发送 10 个请求。现在假设这些数字与您的社区一致。
-
这意味着 2 月份 AI Bot 的成本将为 0.01105 美元 x 600 用户 x 10 个请求 = 66 美元。
-
将此快进到运行 AI Bot 一年的成本，即 66 美元 x 12 = 792 美元，用于运行 GPT-4 Turbo 作为您选择的 LLM。
现在使用 GPT-4o，您可以将最终成本再降低一半！
通过查看 OpenAI 社区和我们自己的请求 token 比率响应 进行估算 ↩︎
85 个 token 是多少个单词？ 在查看平均用户请求 token 使用量时，我发现数字低至 20，高至 >100。我想概括的是，有更多的请求接近 100，并且假设这些请求可能更接近完整的句子，并指经过深思熟虑的提示以及向 bot 提出的许多问题 ↩︎