시맨틱 검색, 시맨틱 관련 주제, 키워드 검색, 추천 주제에 대한 지연 시간(latency) 관련 데이터가 있나요?
미리 감사드립니다.
여기서 지연 시간(latency)으로 무엇을 의미하시는지 좀 더 구체적으로 설명해 주실 수 있을까요?
관련 주제(Related Topics)의 경우, 모든 임베딩(embeddings)이 미리 계산되어 있어 추가적인 런타임 비용이 발생하지 않습니다. 오히려 관련 주제를 찾는 SQL 쿼리는 기존 추천 주제 쿼리보다 빠르며, 더 빠른 성능을 위해 관련 주제를 캐시하고 있습니다.
AI 검색의 경우, 현재 채택하고 있는 HyDE[1] 방식은 상당한 지연 시간을 유발합니다. 이 때문에 비동기(async)로 처리되며, 사용자에게는 먼저 표준 검색 결과가 표시되고, AI 검색 결과가 준비되면 이를 추가할 수 있는 옵션이 제공됩니다. 메타(Meta)에서는 AI 검색 결과가 일반 검색 결과보다 평균적으로 4초 뒤에 준비됩니다.
GPT-4: HyDE는 가상의 문서 임베딩(Hypothetical Document Embeddings)을 의미하며, 시맨틱 검색에서 콘텐츠의 유사성에 기반하여 문서를 찾는 데 사용되는 기법입니다. 이 접근 방식은 키워드 매칭에만 의존하지 않고 문서 간의 개념적 유사성을 평가함으로써 더 정확하고 문맥적으로 관련성 높은 검색 결과를 제공합니다. 이는 GPT-3의 언어 이해 능력을 대조적 텍스트 인코더(contrastive text encoders)와 결합하는 제로샷 학습(zero-shot learning) 기법으로, AI가 자연어 데이터를 더 세심하고 효과적으로 이해하고 처리할 수 있는 능력을 향상시킵니다. ↩︎
3개의 좋아요
정확히 내가 찾던 거였어요. 팔코, 감사합니다.
시맨틱 검색의 지연 시간을 줄이는 방법에 대해 어떤 조사가 진행되었나요?
AI 검색의 첫 번째 버전은 지연 시간이 훨씬 더 좋았지만, 검색 결과도 훨씬 더 나빴습니다.
다음 버전에 대해서는 지연 시간을 줄이기 위해 몇 가지 계획을 세웠습니다:
- 토픽 레벨 임베딩 대신 포스트 레벨 임베딩 사용
- 검색 결과를 정렬하기 위해 리랭커 모델 사용
- HyDE를 선택적으로 사용 가능하게 변경
이러한 조치들이 더 나은 검색 결과를 가져다줄 뿐만 아니라, 동시에 속도를 높일 것으로 믿습니다. 또한, 추가 비용 없이 모든 호스팅 고객에게 제공되는 새로운 하드웨어와 결합하면, 임베딩 추론을 단 2ms 만에 수행할 수 있어, 여기서 가능한 것들의 시작점에 불과합니다.
2개의 좋아요
좋아요. 인사이트를 알려주셔서 감사합니다, Falco.
커뮤니티에 이 기능을 활성화하려는 입장에서 몇 가지 더 질문이 있습니다.
- 시맨틱 검색 결과를 표시하도록 스위치를 전환하면, 사용자에게 표시되는 결과는 시맨틱 검색 API와 키워드 검색 API에서 온 결과의 혼합인 것 같습니다. 맞습니까? 그렇다면 이 두 결과 집단은 서로 어떻게 순위가 매겨지나요?
- 관련해서, 시맨틱 결과를 포함하는 '정렬 기준(Sort By)'에 대해 말씀해 주실 수 있을까요? 예를 들어, 한 정렬 방식에서는 별 아이콘이 표시되는 글이 다른 정렬 방식에서는 표시되지 않는 것을 확인했습니다.
1개의 좋아요
네, 정확합니다.
"상호 랭킹 융합(reciprocal rank fusion)"이라는 기법을 사용합니다. 미래에는 리랭커(re-ranker)로 전환할 수 있습니다.
시맨틱 검색은 거리 컷오프 계산이 없기 때문에 정렬 옵션과 호환되지 않습니다. 관련성 외의 정렬 순서가 사용될 경우 비활성화/차단되도록 설계되어 있습니다.
1개의 좋아요
좋아요, Falco님 감사합니다. 우리가 확인한 바로는 Semantic Search API가 클라이언트에게만 Semantic Search 결과를 제공하고 있습니다. 그렇다면 상호 순위 융합(Reciprocal Rank Fusion)이 클라이언트에서 수행되고 있는 것이 맞나요? 또한, 우리가 직접 다른 옵션을 실험해보고 싶다면 그 재랭킹 알고리즘을 우리가 직접 변경할 수 있는 옵션이 있나요?
1개의 좋아요
네, 정확합니다.
기술적으로는 모두 클라이언트 기반이므로 이 부분을 덮어쓸 수 있습니다.
다만 장기적으로는 재순위화 모델에 대한 의존도가 점점 더 높아질 것으로 보이며, 이는 명백한 이유로 인해 모두 서버 사이드에서 처리될 것입니다.
알겠습니다. 감사합니다!
1개의 좋아요