discourse-ai 설정을 방금 완료했습니다. AI의 RAG 기능이 어떤지 궁금합니다.
게시물에서 콘텐츠를 검색할 수 있다는 것은 알겠는데, 실제로 특정 토픽 안에 정보를 찾아야 한다는 걸 AI가 제대로 이해하려면 여러 번 물어야 하는 것 같습니다.
다른 기능들은 잘 작동하고 있습니다!
감사합니다. 해당 섹션을 확인했고 좋았지만, 여전히 몇 가지 질문이 있습니다.
컨텍스트를 조금 설명하자면, 우리는 Discourse를 지식 베이스이자 기술적 질문에 답하는 포럼으로 사용하고 있으며, 모든 문서화를 포럼에 올려두고 있습니다.
우리는 페르소나의 업로드 섹션을 사용하여 포럼에 직접 올리지 않는 데이터, 예를 들어 회사에 관한 문서 데이터 등을 공급할 계획입니다.
포럼에 있는 기술 문서에 대해서는 AI를 사용하여 질문할 수 있기를 바랍니다. 제 이해로는 Discourse-AI 채팅은 이를 위해 설계된 것이 아니며, 페르소나 도구에서 설정된 대로 포럼에서 검색만 수행하고 일부 AI 처리를 하는 것 같습니다.
포럼 자체, 특히 토픽의 콘텐츠에 대해 RAG(검색 증강 생성) 기능을 활성화하는 챗봇이 계획에 있는 것인가요?
이 모든 기능은 현재 100% 지원되며, 다양한 구현 옵션이 제공됩니다.
- 검색 도구는 카테고리나 태그 그룹으로 범위를 지정할 수 있습니다(새로운 페르소나를 생성하고 검색 도구를 추가할 때).
- 사용자 정의 도구는 여기서 추가적인 유연성을 제공합니다. 동일한 포럼에 HTTP 요청을 보내 포럼의 모든 콘텐츠를 원하는 형식으로 활용할 수 있습니다… 임베딩 검색에 대한 HTTP 요청도 포함됩니다… 참고: API access to the embedding(s) for a post - #3 by sam. 사용자 정의 도구에서 HTTP 요청을 할 때 HTTP 헤더를 지정할 수 있으므로 포럼에서 발급한 API 키를 사용할 수 있습니다.
- 읽기 도구를 사용하면 주제(topic)를 읽을 수 있습니다.
- 이 진행 중인 PR은 도구에서 업로드한 파일을 직접 검색할 수 있게 해줍니다. (FEATURE: RAG search within tools - Pull Request #802 - discourse/discourse-ai - GitHub) 이 또한 또 다른 옵션입니다.
- 사용자 설정에 따라 모달리티(PM 대 채팅)를 제어할 수 있습니다.
구체적인 구현 예시는 ask.discourse.com에서 볼 수 있습니다(고객을 위한 지원 봇으로 설계되었습니다). 가장 중요한 점은 커스텀 플러그인이 전혀 필요하지 않으며, 모두 내장된 Discourse AI 플러그인을 사용한다는 것입니다.
면책 조항: 저는 사실상 최종 사용자이며, AI가 실제로 어떻게 작동하는지조차 제대로 이해하지 못합니다. 그리고 저는 OpenAI를 사용하고 있습니다.
AI가 원하는 답변을 주지 않는 이유는 몇 가지 있습니다.
- 프롬프팅은 AI가 어디서, 어떻게 검색할지를 결정합니다. 한 단어가 잘못 쓰이면 AI는 자기 마음대로 행동합니다.
- AI는 스테로이드를 맞고 설명 능력까지 갖춘 구글이 아닙니다. 물론 그런 면도 있지만요. AI는 구글만큼이나, 아니 때로는 구글보다 더 엉망으로 정확한 결과를 찾기도 합니다. 그리고 실제로 모든 내용을 읽고 분석하는 것이 아니라, 그저 그렇게 "생각"하는 것입니다.
- RAG와 임베딩은 작동하지만, 매우 정밀한 프롬프팅이 필요합니다. 하지만 그것들은 방향성만 제시할 뿐, 답변을 구축할 수 있는 안정적인 기반을 제공하지는 못합니다. 임베딩만 해도 상당한 수작업이 필요하며, 많은 경우 주제 자체만으로는 부족합니다. 주제나 게시글(더 나쁘게 말하면)은 정확하고 논리적으로 보일 수 있지만, 실제 현실에서는? 아닙니다. 그래서 ask.discourse.com은 매우 제한적이고 구체적으로 질문하지 않는 한 꽤 자주 실패합니다. "등록 시 특정 이메일 도메인만 허용하려면 어떻게 해야 하나요?"라고 물으면 바로 답변이 나옵니다. 하지만 "그룹 PM 박스에 새 메시지가 도착하면 알림을 받으려면 어떻게 해야 하나요?"라고 물으면 환각(할루시네이션)과 잘못된 참조가 쏟아집니다.
OpenAI의 관점에서 가장 우려스러운 점은 잘못된 답변이 허용될 수 있다는 것입니다. 이는 양의 문제이며, 특히 이러한 환각적이고 사실에 맞지 않는 답변이 기업에 얼마나 큰 비용을 초래할지가 핵심입니다.
기업에게는 매우 사실이지만, 그 한 명의 사용자에게는 정말로 나쁜 일입니다.
AI는 매우 정확할 수 있습니다. 필요한 것은 코딩과 관리를 위해 투입해야 할 막대한 인력과, 비트코인 채굴이 저렴한 취미로 느껴질 만큼의 방대한 컴퓨팅 파워뿐입니다.
제 견해의 가장 약한 점은, 단순히 매뉴얼을 주제에 넣는 것만으로는 부족하다는 것입니다.
이것은 매우 중요한 통찰입니다. 이러한 유형의 시스템은 결코 완전히 끝난 적이 없습니다.
우리는 결국 다음과 같은 과정을 반복하게 됩니다.
- 사용자가 AI에게 질문을 하고 나쁜 답변을 받습니다.
- 우리는 답변을 검토합니다.
- 문서를 수정하고, 올바른 답변을 승인하며, 검색 장애 요인(landmines)을 삭제합니다.
- 동일한 질문을 다시 하면 올바른 답변을 받습니다.
이것들은 배포하고 잊을 수 있는 유형의 시스템이 아닙니다. 지속적인 조정이 필요합니다.
나쁜 답변에 엄지 아래(비추천)를 눌러 주시면 우리에게 정말 큰 도움이 됩니다.
정말 맞습니다. 그리고 제 프롬프트 작성 방식이 실제로는 매우 나쁠 가능성이 매우 큽니다.
하지만… 최종 사용자들이 그 봇을 사용하고 있으며, 그들은 고품질의 질문을 작성하거나 AI를 올바른 방향으로 유도하여 필요한 결과를 얻는 데 능숙하지 않습니다. 그리고 오늘 제가 얻은 지식은 비록 부정확했지만, 언젠가는 더 높은 품질을 이끌어낼 것이라는 생각도 큰 도움이 되지는 않습니다.
제 주장이 무엇인지 정확히 말하기는 어렵지만, 80% 이상의 정확도를 달성하는 AI를 구축/학습/튜닝하는 데는 단순히 주제만 발행하는 것보다 훨씬 더 많은 노력과 정제된 콘텐츠가 필요하다는 점만은 분명합니다. 그리고 그 노력에는 비용이 듭니다(그래서 여러분의 사업이 성장하기를 바랍니다. 왜냐하면 저는 교정 작업을 정말 좋아하니까요. 비록 그 기능이 지금은 완전히 주제에서 벗어났지만).