这可能是一个新手问题，但我想知道在角色配置中的信息量是否会影响像Claude或OpenAI这样的LLM使用成本？
我的意思是，如果我上传许多文本和PDF文件，是否会导致请求令牌显著增加，从而使每次使用该角色的请求比没有许多文件（或搜索更少话题的角色）的请求更昂贵？
1 个赞
Persona 中的以下两个设置可控制成本增加：
- 上传块令牌
- 搜索对话块
使用带有文件的 Persona 时，将使用
上传块令牌 * 搜索对话块
额外的令牌。您可以调整这些设置以控制成本/质量比。
3 个赞
非常感谢。有人对使用哪些值有好的经验吗？我不知道。
一本 30 页的 PDF 大约有 7500 个单词，也许可以推断为 20000 个 token。
假设如此，如果我将 Upload chunk tokens 设置为 2000，例如，那意味着什么？它在构建响应时会“读取并只考虑 PDF 的 10%”吗？
除非有充分的理由进行更改，否则请保留默认值。Discourse 默认值适用于大多数用例。
2 个赞