같은 모델을 자체 호스팅(self-host)하는 경우 최대 32k 토큰까지 사용할 수 있습니다. 현재 저희가 호스팅 환경에서 실제로 사용하고 있는 설정이기도 합니다.
이것이 불가능하다면, 임베딩(embeddings) 모델을 설정하여 입력을 해당 프로바이더가 허용하는 최대 길이로 제한해야 합니다. 이렇게 하면 저희 AI 봇 RAG는 업로드된 파일을 청크(chunk)로 분할하고, 관련 주제/검색 기능은 각 주제당 처음 8192개의 토큰만 가져오게 됩니다.