여기서 지연 시간(latency)으로 무엇을 의미하시는지 좀 더 구체적으로 설명해 주실 수 있을까요?
관련 주제(Related Topics)의 경우, 모든 임베딩(embeddings)이 미리 계산되어 있어 추가적인 런타임 비용이 발생하지 않습니다. 오히려 관련 주제를 찾는 SQL 쿼리는 기존 추천 주제 쿼리보다 빠르며, 더 빠른 성능을 위해 관련 주제를 캐시하고 있습니다.
AI 검색의 경우, 현재 채택하고 있는 HyDE[1] 방식은 상당한 지연 시간을 유발합니다. 이 때문에 비동기(async)로 처리되며, 사용자에게는 먼저 표준 검색 결과가 표시되고, AI 검색 결과가 준비되면 이를 추가할 수 있는 옵션이 제공됩니다. 메타(Meta)에서는 AI 검색 결과가 일반 검색 결과보다 평균적으로 4초 뒤에 준비됩니다.
GPT-4: HyDE는 가상의 문서 임베딩(Hypothetical Document Embeddings)을 의미하며, 시맨틱 검색에서 콘텐츠의 유사성에 기반하여 문서를 찾는 데 사용되는 기법입니다. 이 접근 방식은 키워드 매칭에만 의존하지 않고 문서 간의 개념적 유사성을 평가함으로써 더 정확하고 문맥적으로 관련성 높은 검색 결과를 제공합니다. 이는 GPT-3의 언어 이해 능력을 대조적 텍스트 인코더(contrastive text encoders)와 결합하는 제로샷 학습(zero-shot learning) 기법으로, AI가 자연어 데이터를 더 세심하고 효과적으로 이해하고 처리할 수 있는 능력을 향상시킵니다. ↩︎