의미론적 AI 검색에서 결과를 얻는 데 어려움을 겪고 있어서, 무엇이 문제일 수 있는지 여러분의 의견을 듣고 싶습니다.
간단한 예시로 "shopify"를 검색해 보면 일반 검색 결과는 충분히 나오지만, AI 검색 결과는 전혀 나오지 않습니다. Discourse Meta 커뮤니티에서 "shopify"를 검색하면 일반 검색 결과와 AI 검색 결과가 모두 많이 나오는데, 우리 사이트에서는 그렇지 않습니다. 더 복잡하고 구체적인 질문도 시도해 봤지만, 여전히 결과가 나오지 않습니다.
우리 환경 설정은 다음과 같습니다. LLM 설정에서 gpt-4o-mini를 올바르게 구성해 두었고, “AI 임베딩 의미론적 검색 활성화” 옵션도 켜져 있습니다. 임베딩에는 "text-embedding-ada-002"를 사용 중입니다.
보도에 감사드립니다. 팀에서 확인해 보겠습니다!
샘, 고마워! 네 사이트에서는 더 잘 동작하는 것 같아서, 내가 뻔한 걸 놓치고 있지는 않은지 확인하고 싶었어.
가장 먼저 떠오르는 것은, 아마도 사이트에서 임베딩 백필링이 아직 완료되지 않았을 수 있다는 것입니다. 확인해 보겠습니다.
Hey @tyler.lamparter,
한눈에 살펴본 결과, 사이트의 현재 설정에서 발견한 문제 중 하나는 text-embedding-ada-002를 사용하면서 해당 모델이 지원하지 않는 프롬프트에 대한 임베딩 설정을 채워 넣은 것입니다. 해당 위치에 설정해 두신 지시사항을 제거하고 사이트의 임베딩을 다시 생성했습니다.
앞으로 이러한 혼란을 방지하기 위해 해당 설정의 툴팁도 업데이트하고 있습니다.
그 외에는 "shopify integration"으로 검색을 해보았는데, 다음과 같은 가상의 검색 문서가 반환되었습니다.
이는 우리가 기대하는 내용과 일치합니다.
이제 검색을 시도해 보고 경험을 공유해 주시겠습니까?
@Falco 이번엔 훨씬 잘 작동하는 것 같아요. 감사합니다! 임베딩 설정 아래에 프롬프트를 추가해서 성능을 개선해 보려 했지만, 당연히 효과가 없었네요.
@Falco 제가 너무 앞서 나갔나 봅니다. 지금은 어떤 검색어를 입력해도 AI가 항상 정확히 40개의 결과만 찾습니다. 또한 많은 결과가 관련성이 낮기도 합니다(예를 들어, 해당 카테고리에 대한 소개 주제 등을 제안하는 경우).
다른 임베딩 모델을 사용해 볼게요. 약 1시간 후에 결과를 공유할게요.
이 검색어에 대한 이상적인 주제 결과는 무엇일까요?
해당 경우에는 검색 결과 0건, AI 결과 0건을 예상합니다. 우리는 ES6/ECMAScript2015 JS(네, 매우 오래된 버전입니다)를 지원하지만, 아직 커뮤니티 게시물에 언급된 바는 없습니다.
아, 이제 알겠습니다. 이 경우엔 작동하지 않겠네요.
현재 저희 AI 검색의 작동 방식은 다음과 같습니다:
검색을 중단하는 거리 임계값(threshold)은 없습니다. 수천 개의 Discourse 인스턴스를 모두 포괄하는 일반적인 임계값을 설정하는 것은 쉽지 않기 때문입니다. 이 주제는 Setting a similarity threshold for semantic search 에서 논의되고 있습니다.
다음 주 안에 출시될 새로운 접근 방식을 검토하고 있습니다. 이 방식은 보다 표준적인 LLM + RAG 검색을 수행하여 대화형 응답을 반환하며, 프롬프트를 조정하여 "결과 없음"이라고 표시할 수 있습니다. 몇 주 내에 출시될 예정이며, 테스트할 수 있게 되면 여기서 알려드리겠습니다.
좋겠습니다. 제가 프롬프트를 임베딩 섹션에 추가하려고 했던 것이 바로 그 목적이었거든요. 현재 임계값을 설정할 수 없기 때문에, 항상 약 40개의 결과가 표시되는 이유가 그것 때문인가요?
네, 정확합니다.
오늘날 AI 검색은 표준 검색에서 결과가 없을 때 페일오버 시스템처럼 작동하며, 마치 초강력 동의사 사전처럼 기능합니다. 그러나 귀하의 경우, 검색 쿼리가 포럼 전체에서 가능한 결과를 전혀 찾지 못하므로, 이는 해당 기능이 설계된 사용 사례에 해당하지 않습니다.
원하시는 방향에 더 가까워질 다음 버전의 검색 기능을 기대해 주세요.
임베딩 모델을 text-embedding-ada-002로 되돌려도 될까요?
@tyler.lamparter Conversational AI Search coming to Discourse AI 을 확인해 보세요. 사이트에서 테스트해 보고 싶으시면 알려주세요.
네, 저희 사이트에서 이 기능을 테스트해 보고 싶습니다. 귀사의 사이트에서도 테스트를 해 봤고, 전체 검색 모드에서 기존에 있던 “AI로 발견된 50개 결과 숨기기” 토글도 확인했습니다. 이 토글은 여전히 이전의 HyDE 검색을 사용하나요?
새로운 기능은 토글을 전혀 사용하지 않습니다. 이 기능은 표준 검색 경험 위에 대화형 답변을 표시하며, 기존 키워드 검색 및 시맨틱 검색과 함께 제공됩니다.
제가 생각한 바로 그거예요. 새 기능이 우리에게 잘 작동하면 HyDE 토글을 비활성화할 수 있을 거예요.
이 페르소나에 커스텀 도구를 연결할 수 있을까요? 외부 지식 베이스에서 관련 문서를 가져와서 봇과 상호작용하지 않고도 검색 결과에 표시할 수 있는 방법이라고 생각하고 있습니다.
네, Conversational AI Search coming to Discourse AI 에 명시된 대로 모두 수행할 수 있습니다.
