Est-ce que plus de fichiers Persona augmentent les coûts des requêtes LLM ?

Soutien
1

Probablement que c’est une question de débutant, mais je me demande si la quantité d’informations dans la configuration du persona pourrait avoir un impact sur les coûts d’utilisation des LLM comme Claude ou OpenAI ?

Je veux dire, si je télécharge beaucoup de fichiers texte et PDF, cela entraînera-t-il une augmentation significative des tokens de requête, de sorte que chaque demande utilisant ce persona coûte plus cher qu’une requête utilisant un persona qui n’a pas beaucoup de fichiers (ou qui recherche moins de sujets sur le forum)?

1 « J'aime »
3

L’augmentation du coût est contrôlée via les deux paramètres suivants dans Persona :

  • Jetons de segment de téléchargement
  • Segments de conversation de recherche

Lorsque vous utilisez une persona avec des fichiers, elle utilisera

Jetons de segment de téléchargement * Segments de conversation de recherche

jetons supplémentaires. Vous pouvez ajuster ces paramètres pour contrôler le rapport coût/qualité.

3 « J'aime »
4

Merci beaucoup. Quelqu’un a-t-il une bonne expérience sur les valeurs à utiliser pour ceux-ci ? Je n’en ai aucune idée.

Un PDF de 30 pages contiendrait environ 7500 mots, peut-être. Cela pourrait être extrapolé à 20000 tokens.

En supposant cela, que signifierait-il si je définissais Upload chunk tokens avec une valeur de 2000, par exemple ? Cela « lira et prendra en compte seulement 10 % du PDF » lors de la construction d’une réponse ?

5

Laissez les valeurs par défaut, sauf si vous avez une bonne raison de les modifier. Les valeurs par défaut de Discourse conviennent à la plupart des cas d’utilisation.

2 « J'aime »