아, 이제 이해했어요. 설명해 주셔서 감사합니다. 제가 놓치고 있던 부분이 바로 그거였네요.
참고로, 더 발전된 RAG 시스템에서는 재정렬(reranking)이 자주 사용된다는 걸 알고 있어요. Discourse가 이를 처리하는 방식에도 재정렬 같은 기능이 있나요? 재정렬 단계를 추가하면 긍정적인 효과가 있을 거라고 생각하시나요?
리랭킹(reranking)은 아직 개발 진행 중입니다.
@Falco / @Roman이 discourse에서 기본 리랭커를 구현했습니다:
이는 의미론적 검색(semantic search)과 RAG에 사용됩니다. 하지만 설정이 꽤 숨겨져 있어 구성하기가 쉽지 않습니다.
@awesomerobot와 논의한 중기 계획은 LLM 용어를 '모델(Models)'로 전환하고, 임베딩/리랭커와 LLM을 단일 인터페이스에서 정의할 수 있도록 UI를 일부 통합하는 것이었습니다.
현재는 매우 특정적인 Hugging Face 리랭커 API만 지원합니다.
결과물의 품질을 확실히 향상시킵니다.
완벽합니다!
그렇다면 현재 이 기능은 기본적으로 비활성화되어 있고, 호스팅(프로) 플랜에서 쉽게 설정할 수 없나요?
확신은 없으니 @Falco 님의 답변을 기다려 보자.
안녕하세요 @Falco
테스트를 위해 리랭커(reranker)를 활성화할 방법이 있나요? 아니면 일정이 있을까요?
Discourse의 의미 기반 검색을 지원하는 기본 기술에 대한 큰 개선 사항을 DEV: Re-introduce PG Vector 0.8.0 upgrade - Pull Request #35233 - discourse/discourse - GitHub 에 방금 배포했습니다.
이미 사용자의 사이트에 배포되었으니, 이제 사용 사례를 다시 시도해 볼 수 있습니다. 리랭커(reranker) 없이도 RAG가 더 좋아질 것으로 기대합니다.
리랭커를 널리 제공하기를 원하지만, 먼저 일부 업스트림 변경 사항이 적용되기를 기다리고 있습니다.
Falco, 감사합니다!
이 기능은 Discourse 토픽에 대한 시맨틱 검색에만 적용되는 건지, 아니면 페르소나에 업로드된 RAG 문서에도 적용되는 건가요? 제 경험상 AI는 포럼 토픽(예: ask.discourse)에서는 꽤 잘 작동하지만, 페르소나에 업로드된 문서에서는 그다지 잘 작동하지 않습니다(아니면 아직 최적의 방법을 찾지 못한 것일 수도 있고요).
이는 Discourse에서 임베딩이 사용되는 모든 영역에 영향을 미치며, 관련 주제, RAG, 검색, 작성기 카테고리 및 태그 제안 등이 포함됩니다.
안녕하세요 @tpetrov, 새로운 임베딩 모델을使用后 결과가 개선되었나요?
팔코, 미안해. 시간을 내서 충분히 테스트해볼 기회가 없어서 확실히 말하기는 어려워.
두 가지를 전환해서 비교할 수 있는 방법이 없나?
현재는 불가능합니다. 구형 모델과 신형 모델은 몇 달간 함께 제공되었지만, 최근 호스팅 환경에서 구형 모델을 중단했습니다.