아마도 초보자의 질문일 수 있지만, 페르소나 설정에 포함된 정보의 양이 Claude나 OpenAI와 같은 LLM 사용 비용에 영향을 줄 수 있을지 궁금합니다.
즉, 텍스트나 PDF 파일을 많이 업로드하면 요청 토큰 수가 크게 증가하여, 해당 페르소나를 사용한 요청이 파일이 많지 않거나 포럼에서 검색하는 주제가 적은 페르소나를 사용한 요청보다 더 비싸지는지 묻고 싶습니다.
비용 증가는 Persona의 다음 두 설정을 통해 제어됩니다:
- 업로드 청크 토큰
- 대화 청크 검색
파일을 사용하는 페르소나의 경우, 다음을 사용합니다:
$
Upload\ chunk\ tokens * Search\ conversation\ chunks
$
추가 토큰. 이를 조정하여 비용/품질 비율을 제어할 수 있습니다.
정말 감사합니다. 이 값들을 어떻게 설정해야 하는지 좋은 경험이 있으신 분이 계신가요? 저는 전혀 감이 오지 않습니다.
30페이지짜리 PDF는 대략 7,500단어 정도일 것입니다. 이를 환산하면 약 20,000토큰이 될 수도 있겠네요.
이 가정하에, 예를 들어 Upload chunk tokens 값을 2000으로 설정하면 어떻게 되나요? 응답을 생성할 때 PDF의 10%만 읽고 고려하게 되는 건가요?
변경할 특별한 이유가 없다면 기본값을 유지하세요. Discourse의 기본값은 대부분의 사용 사례에서 잘 작동합니다.