우리는 Slack 채널에서 내보낸 채팅 기록 로그를 여러 개 보유하고 있으며, 여기에는 상당한 노하우, 언급된 문제와 해결책 등이 포함되어 있습니다. 당연히 이러한 채팅에는 AI 봇이 이를 사용할 때 주제/게시물에 그대로 덤프하는 것이 비경제적이 될 수 있는 쓸모없는 “불필요한 정보”가 많이 포함되어 있습니다.
파일은 약 10개이며, 각 파일의 크기는 대략 1~2MB입니다. AI 페르소나 사용 측면에서, 약 30명의 사용자가 하루에 약 10개의 채팅을 수행할 것입니다(여기서 토큰 볼륨을 추정하기는 어렵습니다).
이 시점에서 저는 이러한 채팅 로그를 활용하면서도 어느 정도 경제성을 유지하는 데 합리적인 80/20 접근법이 무엇인지 궁금합니다. 두 가지 옵션으로 좁혀졌습니다:
로그를 Discourse 주제/게시판에 복사하여 붙여넣기: 빠르고 간단하지만, 커스텀 개발은 필요하지 않으며, API 비용이 많이 발생할 수 있습니다.
채팅 로그를 사전 처리하여 적절한 형식 또는 구조로 변환한 후 페르소나에 업로드하기.
또는 일종의 하이브리드 방식: 각 AI 봇 요청 시 출력을 평가하고 txt 파일로 저장한 후 페르소나에 업로드하기.
Sonnet 4 thinking과 같이 큰 컨텍스트/출력을 지원하는 LLM을 사용하여 “Creative” 페르소나로 10개 파일을 처리하세요. 이 처리의 목표는 정보를 “정리”하여 RAG를 준비하는 것입니다.
내장 업로드 기능을 사용하여 처리된 10개 파일을 페르소나에 업로드하여 RAG가 콘텐츠를 검색할 수 있도록 하세요.
여기에는 방대한 양의 데이터가 있으므로 시스템 프롬프트에 모든 것을 넣는 것은 권장하지 않습니다. 가이드라인으로 시스템 프롬프트는 너무 길면 안 되며, 비용이 많이 듭니다. 10k 토큰은 처리 가능하지만, 현재 최첨단 LLM에서는 100k 토큰은 처리하기 어렵습니다. 모든 상호작용에 과도한 비용이 발생하고 LLM이 더 혼란스러워질 수 있습니다.
[[metadata about cats]]
a long story about cats
[[metadata about dogs]]
a long story about dogs
이제 버전 번호나 특정 모델 번호를 추가하고 싶다면, 사람이 직접 입력할 때 사용하는 것과 동일한 형식이나 구조를 사용하면 될까요?
예:
[[metadata about cats v1.0]]
a long story about cats
[[metadata about dogs]]
a long story about dogs
[[metadata about cats xxl v2.1]]
a long story about cats
[[metadata about dogs v 1.1beta]]
a long story about dogs
또한, 메타데이터에 버전 번호가 없는 경우(예: metadata about dogs) 해당 청크는 어떤 '개 버전’이든 상관없이 모든 개 관련 요청의 응답에 사용되나요?
