估算使用大型语言模型进行论述AI的成本

:information_source: 要使用某些 Discourse AI 功能,用户需要使用大型语言模型 (LLM) 提供商。请查看每项 AI 功能以确定哪些 LLM 兼容。

:dollar: 如果成本是一个重要的担忧,Discourse AI 有几个内置工具可以帮助管理支出:

  • AI 使用情况仪表板 — 按功能、模型和用户跟踪令牌消耗及估算成本
  • 使用配额 — 在可配置的时间窗口(每小时、每天、每周)内,为每个模型、每个群组设置令牌或请求次数的限制
  • 信用额度分配 — 为每个模型设置总体信用预算,并设置软限制和硬限制
  • 供应商端预算直接从供应商处设置使用限制 作为额外的保障措施
  • 群组限制 — 仅允许选定的用户和群组访问 AI 功能

在计算使用 LLM 的成本时,需要考虑几个可变因素

简化的视图如下…

:information_source: 了解什么是令牌以及如何计算它们非常重要

  • LLM 模型和定价 → 确定您计划使用的特定 LLM 模型,并查找其输入和输出令牌的最新定价详情
  • 输入令牌 → 输入提示的平均长度(以令牌为单位)
  • 输出令牌 → 模型响应的令牌数

现在让我们来看看 Meta 上 AI 机器人的使用示例

:warning: 在此计算中进行了许多简化,例如令牌使用情况、使用 AI 机器人的用户数量以及平均请求次数。这些数字仅应作为一般指南。特别是考虑到我们对 AI 机器人进行了大量实验

  1. 使用 /admin/plugins/discourse-ai/ai-usage 处的内置 AI 使用情况仪表板,按功能、模型和用户查看您的实际请求/响应令牌使用情况

  2. 平均响应令牌是请求令牌的 3 到 5 倍 [1]

  3. 假设平均用户请求令牌为 85,相当于 <1 段 [2]

  4. 假设平均响应令牌为 85 x 4 = 340 个令牌,相当于 3 段

  5. 使用 OpenAI 的 GPT-5.4 mini,输入令牌的成本为 $0.75 / 1M 令牌 = $0.00000075 / 令牌 x 85 令牌 = 输入成本 $0.000064

  6. 对于输出令牌,成本为 $4.50 / 1M 令牌 = $0.0000045 / 令牌 x 340 令牌 = 输出成本 $0.00153

  7. 每个请求的总成本为 $0.000064 + $0.00153 = $0.0016

  8. 2024 年 2 月,约有 600 名用户使用了 AI 机器人,该月平均请求 10 次。现在假设这些数字与您的社区一致

  9. 这意味着 2 月份,AI 机器人的成本将是 $0.0016 x 600 用户 x 10 次请求 = $9.56

  10. 将此加速到一年的 AI 机器人运行成本,对于选择 GPT-5.4 mini 作为您的 LLM,每年的成本为 $9.56 x 12 = $115

要获得更低的成本,请考虑预算模型,例如 GPT-5.4 nano ($0.20/$1.25 每 1M 令牌)、Gemini 2.5 Flash ($0.075/$0.30 每 1M 令牌) 或 Claude Haiku 4.5 — 与上述示例相比,这些模型的成本可以再降低 75–95%。请务必查看您的提供商的最新定价,因为成本持续下降。


  1. 根据对 OpenAI 社区和我们自身请求令牌比率的响应 的估算 ↩︎

  2. 在查看平均用户请求令牌使用情况时,我发现数字低至 20 到 >100。我想概括一下,更接近 100 的请求更多,并且假设这些请求可能更接近完整的句子,并且指的是经过深思熟虑、向机器人提出了很多问题的提示 ↩︎

9 个赞

我们最近与一位客户分享了以下信息,他询问了在 Meta 中使用 AI 搜索以及其成本:

上个月我们在 Meta 中进行了 1104 次搜索

  • GPT-4o-mini 定价,成本为 0.25 美元
  • 使用 haiku 的成本为 0.53 美元
  • Gemini Flash 的成本为 0.06 美元

我们必须关注 request tokens(约 85868 个)和 response tokens(约 408417 个)来自 LLM。

3 个赞

Meta 中图像字幕一个月的估计费用

  • 1019 次调用
  • 5500 万个请求 token
  • 3.4 万个响应 token

根据不同的 LLM,费用如下:

  • Claude Haiku 3:13.86 美元
  • GPT-4o Mini:8.31 美元
  • Gemini 1.5 Flash 8B:2.07 美元
5 个赞