כנראה שזו שאלה של מתחיל, אבל אני תוהה אם כמות המידע בהגדרת הפרסונה יכולה להשפיע על עלויות השימוש ב-LLM כמו קלוד או OpenAI?
אני מתכוון, אם אעלה הרבה קבצי טקסט ו-PDF, האם זה יגרום לעלייה משמעותית במספר הטוקנים של הבקשה כך שכל בקשה באמצעות אותה פרסונה תהיה יקרה יותר מבקשה המשתמשת בפרסונה שאין לה הרבה קבצים (או שמחפש נושאים פחות בפורום)?
The increase in cost is controlled via the following two settings in Persona:
When using a persona with files, it will use
Upload\ chunk\ tokens * Search\ conversation\ chunks
extra tokens. You can tweak those to control the cost / quality ratio.
Thanks a lot. Does anyone have a good experience on which values to use on those? I have no idea.
A PDF with 30 pages would have around 7500 words, maybe. That might be extrapolated to 20000 tokens.
Assuming that, would would it mean if I set Upload chunk tokens with value 2000, for example? Will it “read and take into account only 10% of the PDF” when building a response?
Leave the defaults unless you have a good reason to change. Discourse defaults work for most use cases.