RAG 대안으로 긴 컨텍스트 LLM에 프롬프트 주입 사용?

각주:

위 테스트를 GPT4o(128k 컨텍스트)로 재실행해 보았고, 큰 토큰/청크 설정을 사용하도록 주의했습니다. 그러나 여전히 저의 백서 Q&A 사용 사례에서는 불안정합니다. (중간에서 내용 유실, 끝에서 내용 유실 등) … 누군가가 재현하고 개선하고 싶다면 제 설정을 공유합니다. 이 경우 올바른 설정을 찾을 수 있다면 좋겠습니다.

커스텀 AI 페르소나
사용 여부 예
우선순위 예
채팅 허용 예
멘션 허용 예
비전 사용 아니오
이름 Rag Testing Bot 3
설명 테스트 RAG vs 롱 컨텍스트 프롬프트 인젝션
기본 언어 모델 GPT-4o-custom
사용자 Rag_Testing_Bot_bot
사용 가능한 명령어 Categories, Read, Summary
허용된 그룹 trust_level_4
시스템 프롬프트 첨부된 파일의 Equatic 탄소 제거 연구에 관한 제공된 컨텍스트를 바탕으로 가능한 한 포괄적으로 답변하십시오. 내용을 지어내지 마십시오. 이 세션 외부의 내용을 사용하지 마십시오. 제공된 내용에 집중하고 이를 바탕으로 정확하고 완전하게 답변을 생성하십시오.
최대 컨텍스트 게시물 50
온도(Temperature) 0.1
Top P 1
업로드 Equatics-paper1-with-unique-haystack-needles-v116.txt
업로드 청크 토큰 1024
업로드 청크 오버랩 토큰 10
대화 청크 검색 10
질문 통합기용 언어 모델 GPT-4o-custom
커스텀 봇
표시 이름 GPT-4o-custom
모델 이름 gpt-4o
모델을 호스팅하는 서비스 OpenAI
모델을 호스팅하는 서비스의 URL https://api.openai.com/v1/chat/completions
모델을 호스팅하는 서비스의 API 키 D20230943sdf_fake_Qqxo2exWa91
토크나이저 OpenAITokenizer
프롬프트용 토큰 수 30000