Provavelmente esta é uma pergunta de iniciante, mas eu me pergunto se a quantidade de informações na configuração da persona pode ter um impacto nos custos de uso de LLMs como Claude ou OpenAI?
Quero dizer, se eu carregar muitos arquivos de texto e PDF, isso causará um aumento significativo nos tokens de solicitação, de modo que cada solicitação usando essa persona seja mais cara do que uma solicitação usando uma persona que não tem muitos arquivos (ou que pesquisa menos tópicos no fórum)?
O aumento de custo é controlado pelas seguintes duas configurações no Persona:
Ao usar um persona com arquivos, ele usará
Tokens de fragmento de upload * Fragmentos de conversa de pesquisa
tokens extras. Você pode ajustar esses valores para controlar a relação custo/qualidade.
Muito obrigado. Alguém tem uma boa experiência sobre quais valores usar para estes? Não tenho ideia.
Um PDF de 30 páginas teria cerca de 7500 palavras, talvez. Isso pode ser extrapolado para 20000 tokens.
Assumindo isso, o que significaria se eu definisse Upload chunk tokens com o valor 2000, por exemplo? Ele “lerá e levará em conta apenas 10% do PDF” ao construir uma resposta?
Deixe os padrões, a menos que você tenha um bom motivo para mudar. Os padrões do Discourse funcionam para a maioria dos casos de uso.