おそらく初心者向けの質問ですが、ClaudeやOpenAIのようなLLMの使用コストに、ペルソナ設定の情報量が影響する可能性があるのか疑問に思っています。
つまり、多くのテキストファイルやPDFファイルをアップロードした場合、そのペルソナを使用する各リクエストが、多くのファイルを持たない（またはフォーラムで検索するトピックが少ない）ペルソナを使用するリクエストよりも高価になるほど、リクエストトークンが大幅に増加するのでしょうか？
「いいね！」 1
Persona の以下の 2 つの設定でコストの増加を制御します。
- アップロードチャンクトークン
- 会話チャンクトークンを検索
ファイルを持つペルソナを使用する場合、次のようになります。
アップロード\\チャンクトークン * 会話チャンクトークンを検索
追加のトークン。コストと品質の比率を制御するために、これらを調整できます。
「いいね！」 3
どうもありがとうございます。これらの値について良い経験をしたことがある人はいますか？全くわかりません。
30ページのPDFは約7500語、おそらく20000トークンになるでしょう。
それを仮定すると、例えばUpload chunk tokensを2000に設定した場合、どういう意味になりますか？応答を構築する際に「PDFの10%しか読み取って考慮しない」ということになりますか？
特別な理由がない限り、デフォルトのままにしてください。Discourseのデフォルトはほとんどのユースケースで機能します。
「いいね！」 2