원한다면 제 커뮤니티 데이터로 봇을 학습시키는 것이 가능할까요?
이를 위해서는 먼저 커뮤니티 구성원들의 서사가 해당 목적으로 사용될 수 있도록 모든 구성원들의 허가를 받아야 합니다. 그렇지 않으면, Microsoft와 같은 기업들이 허락 없이 정확히 같은 일을 했다는 이유로 소송을 당하고 있는 것처럼 법적 리스크를 감수하게 됩니다.
1개의 좋아요
일반적으로 포럼 소유자는 사용자 콘텐츠에 대해 매우 자유로운 라이선스를 확보하려고 합니다. 저는 변호사가 아니지만, 이는 "인터넷에서 정보를 크롤링하여 그 데이터로 학습하는 것"과는 완전히 다른 차원의 문제입니다.
그럼에도 불구하고, 여기에는 다음과 같은 상당한 도전과제가 있습니다:
- 파인튜닝(Fine-tuning)은 OpenAI 생태계 내에서 3.5 모델에만 사용할 수 있습니다.
- 파인튜닝을 수행하면 호출당 비용이 훨씬 더 비싸집니다.
- 실질적인 가치를 얻기 위한 파인튜닝은 매우 어렵고, 데이터 큐레이션에 막대한 노력이 필요합니다. 제 직감으로는 RAG[1] 성능에 근접하지 못할 것 같습니다.
따라서 기술적으로는 가능하지만, 권장하지 않습니다.
(GPT-4) 이 문맥에서 "RAG"는 **검색 증강 생성(Retrieval Augmented Generation)**을 의미합니다. 이는 기계 학습, 특히 챗봇과 같은 AI 모델의 훈련에서 자주 사용되는 기법입니다.
RAG는 검색 기반 모델과 생성 모델의 장점을 결합합니다. 즉, 기존 응답 데이터베이스(검색)를 활용하면서 동시에 새로운 응답을 처음부터 생성하는 능력을 더해줍니다. 이러한 조합은 시스템이 라이브러리에서 정확한 사실을 가져와 이를 새롭고 일관된 문장으로 표현할 수 있게 해주므로, 일반적으로 성능 향상을 가져옵니다.
대화에서 사용자는 특정 커뮤니티 데이터셋으로 AI 모델을 파인튜닝하는 것이 검색 증강 생성(RAG) 모델을 사용하는 것만큼의 성능을 달성하지 못할 수 있음을 제안하며, RAG 모델이 더 효율적이고 고품질의 응답을 산출한다고 시사하고 있습니다. ↩︎
8개의 좋아요
파인튜닝은 모델에 새로운 콘텐츠를 추가하는 효과적인 방법이 아닙니다. 파인튜닝은 모델이 다른 형식의 출력을 생성하도록 학습시키거나 특정 작업(예: 분류, 콘텐츠 추출)에서 더 높은 성능을 달성하는 데 유용하지만, 새로운 콘텐츠를 추가하는 것은 불가능합니다.
이를 이해하는 가장 좋은 방법은, 파인튜닝으로 모델에게 새로운 '기술’을 가르칠 수는 있지만 새로운 '사실’을 가르칠 수는 없다는 것입니다. 환각(hallucination)을 줄이거나 새로운 콘텐츠를 도입하고 싶다면 RAG를 사용하는 것이 좋습니다.
1개의 좋아요
아무도 실제로 질문에 답하지 않았습니다. 커뮤니티 데이터를 사용할 권한이 있다고 가정할 때, 이를 어떻게 활용해서 AI 봇을 학습시킬 것인가요?
여기서 'train’이 무엇을 의미하는지 정의해 주시겠어요?
특정 모델(gpt 3.5 또는 llama)을 파인튜닝한 후 커스텀 모델을 호스팅하는 것을 말씀하시는 건가요?
아니면 봇이 포럼의 콘텐츠에 대해 인지하도록 하려는 건가요?
단순히 인지 기능만 원하신다면, 이 기능은 이미 현재 제공되고 있습니다.
파인튜닝된 모델을 원하신다면 AI 팀을 고용하셔야 합니다.
3개의 좋아요
3개의 좋아요
응답의 어느 부분이
- 환각(hallucination)의 예시인지
- AI/모델에 따라 달라지는지(자주체 호스팅을 하는 매우 비싼 모델과 단순히 비싼 OpenAI 모델은 매우 다름)
AI 봇에게 전체 포럼 외에 특정 데이터 소스를 RAG에 사용하도록 지시할 수 있을까요? 많은 AI 봇 질문의 출발점이 될 수 있는 평탄한 데이터베이스(필요하면 CSV로 변환 가능)가 있고, 이후 필요에 따라 포럼의 나머지 부분을 RAG로 활용하면 좋겠습니다. 다만, 포럼에 CSV를 게시하고 싶지는 않습니다.
1개의 좋아요
AI가 볼 수 있지만 일반 사용자는 볼 수 없는 위치에 CSV 데이터를 두는 것이 가능할지 모릅니다. (이것이 불가능하거나 나쁜 아이디어일 수 있지만, 효과가 있을 수도 있습니다).
네, 파일을 페르소나에 직접 업로드할 수 있습니다.
3개의 좋아요
완벽해 보이는데, 페르소나에 업로드하는 방법을 찾을 수 없어요. 아니면 파일 링크를 페르소나의 시스템 프롬프트에 넣어야 하나요?
관리자 > 플러그인 > AI > 페르소나 > 새 페르소나로 이동하면 업로드 항목이 맨 끝에 있습니다:
또한 CSV에 있는 데이터의 양에 따라 시스템 프롬프트에 직접 붙여넣을 수도 있습니다.
2개의 좋아요
현재 최신 버전을 사용 중인데, 저 역시 해당 옵션을 찾을 수 없습니다.
임베딩이 설정되어 있나요?
2개의 좋아요
게시물 2개가 새 주제로 분리되었습니다: Gemini Embeddings 작동 안 함