Arquivos de persona adicionais aumentam os custos de solicitação do LLM?

O aumento de custo é controlado pelas seguintes duas configurações no Persona:

  • Tokens de fragmento de upload
  • Fragmentos de conversa de pesquisa

Ao usar um persona com arquivos, ele usará

Tokens de fragmento de upload * Fragmentos de conversa de pesquisa

tokens extras. Você pode ajustar esses valores para controlar a relação custo/qualidade.

3 curtidas