Thefacto
(Thefacto)
1
我正在使用 Discourse AI,并将其连接到外部 LLM API,以及一些扩展(这些扩展会产生额外费用)。
因此,我希望将其配置为不使用这些扩展,而是仅依靠 LLM 本身作为论坛助手——用于站内搜索、总结或仅在论坛内运行的其他功能。
主要原因是降低付费附加组件(例如外部网络搜索)的成本,因此我正在寻求有关如何进行此类设置的指导。
谢谢
编辑:
我收到了提供商的回复,他们说这次请求之所以收取网络搜索费用,是因为 AI 引用了 BBC 和路透社等来源,这自动触发了模型的证据/搜索模式。
那么,这是否意味着这与 Discourse 设置无关,并且无法从提供商那里禁用此行为?
有什么变通方法吗?
提供商建议切换到一个“思考”较少的模型,并避免使用 Flash 或 Instinct 模型,但这同时也意味着推理和计算能力的降低。
**此消息是使用翻译工具从泰语翻译而来的,因此如果内容有任何不清楚或略有不当之处,我提前表示歉意。
Lilly
2
您说的扩展是指什么?我猜是指网页搜索方面的扩展?
我有 2 个自托管站点,它们运行着我所有的 Discourse AI 功能,使用的是 Google Cloud 上的 Gemini,并且我为网页研究员(每天 100 次免费查询)使用了 Google Custom Search Engine API。我尽可能多地使用 Gemini 2.5 Flash Lite,例如用于摘要和要点总结,使用 2.5 Flash 进行翻译,并使用各种其他 Gemini 模型来处理更具体和需要思考的任务(例如 Gemini Flash 图像)。
也许这个主题会让你感兴趣:
2 个赞
Thefacto
(Thefacto)
3
啊,明白了——感谢您的澄清!是的,我所说的“扩展”是指网页搜索或额外的AI功能。
对于我的设置,我使用的是小米的MiMo API,它为我提供每月1000次请求。任何额外扩展的使用都会根据使用情况额外计费,而且很不幸我无法禁用它。供应商提到这取决于提示的长度和复杂性——例如,如果我和我的用户输入类似“搜索关于……的最新消息”的内容,无论它是否存在于我的论坛上,模型都会并行进行网络搜索。我确实无法控制这些额外的费用。
我没有填写任何Google自定义搜索引擎API密钥——我只是将其留空,并使用“论坛助手”的默认设置。
我一直在想是否有任何智能方法来处理这个问题?如果我尝试在供应商级别限制额度,最终会限制我运行的所有模型。
另外,如果我的英语有点难懂,请原谅——我正在使用翻译器进行交流🙂
Lilly
4
您应该可以在这里使用您的母语发帖,内容本地化和人工智能翻译已启用。
1 个赞
Thefacto
(Thefacto)
5
感谢您关于语言使用的建议。
我目前遇到的问题总结(简单易懂的解释):
- 我在自托管的网站上使用 Discourse AI。
- 我使用的 LLM 是小米的 MiMo API,它提供每月 1000 次请求的配额。
- 问题在于,某些扩展功能(例如网络搜索)会根据使用情况产生额外费用,并且服务提供商无法从他们的端禁用这些功能。
提供商解释说:
- 费用取决于 prompt 的长度和性质。
- 例如,如果我和用户输入“搜索关于……的最新新闻”,无论我的论坛中是否有相关信息,模型可能会自动去网络上搜索相关信息。
这导致我:
我没有填写 Google Custom Search Engine API 密钥,
留空并使用了 Forum Helper 的默认设置。
如果我尝试从提供商端限制配额:
- 这将限制所有正在使用的模型。
- 无法仅限制特定模型或特定功能。
这是我能检查到的 Log 示例:
Generation details
Model: MiMo-V2-Flash
Model ID: xiaomi/mimo-v2-flash
Provider: Xiaomi
First token latency: 12.77 seconds
Throughput: 1.5 tokens/second
Finish reason: stop
Data policy: No data training | Policy
Tokens:
- Prompt: 38065
- Completion: 20
Web search:
- Results: 5
Costs:
- Subtotal: 0
- Web search cost: 0.02
- Final cost: 0.02
Creator: hidden
Generation ID: hidden
Thefacto
(Thefacto)
6
如果您指的是使用本地 LLM,我目前没有计划增加这方面的开支。在服务器上,它需要为超过 20 个并发用户提供大量的处理能力,因此该计划尚未实施。我更倾向于使用外部 API,例如 groq、openrouter,这些 API 更具成本效益,并试图控制这方面的支出。
Thefacto
(Thefacto)
7
感谢您的支持。
我已经找到了答案。根据我的测试和观察,无论我使用哪个模型(或者至少是我尝试过的每个模型),网络搜索都会被触发,即使在切换模型之后也是如此。这似乎是提供商方面的问题。
问题在于,网络搜索变成了一项不受欢迎的隐藏成本,即使不需要,我也无法对其进行适当的控制或完全禁用。
我已经清空了我的账户,取消了与该提供商的服务,现在正在寻找另一个提供商。
再次感谢。