Vanilla 임베딩 검색 지원

[shu_goea]

하이디(HyDE) 모델을 거치지 않고 단순히 의미론적 검색만 사용할 수 있으면 좋겠습니다.

저희는 버전 관리를 위해 사용하는 퍼포스(Perforce) 클라이언트 설정에 관한 문서를 보유하고 있습니다. "버전 관리"로 검색할 때, 해당 페이지에 키워드가 언급되어 있지 않아서 일반 검색에서는 결과가 나오지 않습니다.

전체 페이지 검색을 활성화하면 500 오류가 발생하는데, 이는 AI 결과가 0개인 경우 항상 나타납니다.

하지만 discourse-ai/embeddings/semantic-search.json?hyde=false&q=Version%20Control 엔드포인트를 사용하면 목록에 퍼포스에 관한 주제가 보입니다.

하이디가 이를 필터링하는지, 아니면 500 오류 때문인지는 확실하지 않지만, 기본적으로 의미론적 검색 + 키워드 검색을 함께 사용할 수 있으면 좋겠습니다.

[Falco]

헤더의 빠른 검색에 비슷한 검색 모드를 가지고 있었는데, 비대칭 임베딩과 재랭킹 단계만 사용했습니다. 하지만 2023년 임베딩 모델로 테스트했을 때 결과가 좋지 않았습니다.

이번 주에 메타(Meta)에서 이 임베딩 모델을 현재 최첨단 수준으로 업데이트했는데, 매우 유망한 결과를 보여주고 있습니다. 따라서 곧 이 부분을 다시 검토할 예정입니다.

[shu_goea]

흥분되네요! 정식 출시되면 바로 써보고 싶어요.