전체 페이지 시맨틱 검색… 영어만 지원하나요? 그리고 개발을 좀 더 쉽게 만들기 위해 Rails의 마법이 필요한가요?
임베딩 모델을 다국어용으로 변경해 주신다면 작동할 수 있습니다. 아직 테스트는 해 보지 않았지만, 이론적으로는 작동할 것입니다.
대부분의 경우 아무것도 제공하지 못하고, 검색 결과가 나와도 완전히 관련이 없어서 요즘은 점점 더 의문이 들기 시작했습니다.
임베딩에 어떤 모델을 사용하고 있나요?
모든 주제에 대해 임베딩을 생성했나요?
HyDE 검색에 어떤 모델을 사용하고 있나요?
- text-embedding-ada-002
- 제가 아는 한, 네
- gpt-3.5-turbo
조금 테스트를 해봤습니다 — 죄송하지만 매우 일관되지 못했고, 마치 자동차 헤드라이트 사이를 달리는 토끼처럼 어슬렁거리는 방식으로 진행했습니다.
핀란드어도 분명히 가능합니다. 저는 AI와 소수 언어, 그리고 사용자 관련 문제들이 더 근본적인 문제라고 생각합니다.
첫째, OpenAI는 핀란드어를 처리하기에 충분한 자료를 가지고 있지 않습니다. 하지만 AI가 학습에 도둑질 사용 가능한 충분한 자료가 없는 모든 언어에 해당 상황이 적용된다고 확신합니다. 즉, 시맨틱 검색은 다른 질문들보다 훨씬 더 어렵고, 영어나 기타 주요 언어가 아닌 다른 언어를 사용할 때 Chat GPT에게는 정말로 어려운 문제입니다.
GPT-4는 GPT-3.5-turbo보다 더 정확한 것 같습니다. 하지만 3.5의 검색 결과가 10번 중 8번은 단순한 노이즈였으며, 순수하게 태그만 사용해도 Discourse가 그 2개의 올바른 결과를 제공할 수 있었던 반면, GPT-4는 약 50%의 성공률을 보였습니다. 그리고 네, 그것들은 스테이션(statistics) 통계입니다.
시맨틱 접근 방식이… 도움이 되는 검색을 만드는 것은 실제로 꽤 어렵습니다. 적어도 제 경우에는 기대했던 결과를 받아야 한다는 기대감이 있었기 때문입니다. 따라서 이것은 단순한 진정한 시맨틱 검색의 문제가 아니라, 그 문장에서 생성된 검색어 목록을 사용하여 정확하지 않은 검색 문장으로 검색하는 것과 더 관련이 있습니다. 네, 압니다 — 그런 것도 시맨틱 검색입니다.
제 가장 약한 점은 시맨틱 구성 요소가 해야 할 일을 수행하고 있지만, 문제는 AI 자체의 한계와 사용자의 지나치게 높은 기대감에서 비롯된다는 것입니다. 그리고 영어 이외의 언어는 그 자체로는 문제가 아닙니다.
하지만…
시맨틱 전체 페이지 검색은 매우 느립니다. 제 VPS의 기술적 약점(메모리 부족, 마법 생물 등) 탓으로 돌리는 것이 맞나요? 왜냐하면 여기서는 빠르거든요.
둘째… 언젠가 Discourse가 생성한 결과보다 AI 검색 결과를 기본값으로 제공할 수 있을까요?
주제와 내용을 한데 묶어두기 위해 말씀드립니다: 제 판단이 매우 잘못되었습니다. 이는 3.5와 4의 차이와는 무관합니다. 원인은 모바일 환경에서의 시맨틱 검색(의미 기반 검색) 동작 방식이었습니다. 3개의 문자를 입력하는 즉시 검색이 시작되는데, 이때 결과가 매우 부정확합니다. 고급 필터를 열거나(제가 기억하기로는) 검색 버튼을 클릭하면, AI가 새로운 검색을 수행하고 결과를 업데이트합니다 — 그러면 ‘매칭 비율(hit ratio)’이 훨씬 더 정확해집니다.