Estou tendo dificuldades para obter resultados da pesquisa de IA semântica, então queria verificar com todos para ver se vocês têm alguma ideia do que pode estar errado.
Se eu pegar um exemplo simples e pesquisar por “shopify”, você pode ver que obtenho muitos resultados normais, mas nenhum resultado de IA. Quando comparo isso com a pesquisa por “shopify” na comunidade Discourse Meta, você pode ver que obtenho muitos resultados normais e muitos resultados de IA. Tentei perguntas mais complexas e específicas, mas ainda assim não obtive resultados.
Quanto à nossa configuração, estamos usando gpt-4o-mini e isso está configurado corretamente em LLMs. “AI embeddings semantic search enabled” está habilitado. Estamos usando “text-embedding-ada-002” para os embeddings.
À primeira vista, um problema que encontrei com a configuração atual do seu site é que, embora você esteja usando text-embedding-ada-002, você preencheu as configurações de embeddings para prompts, que não são suportadas para esse modelo. Removi as instruções que você definiu lá e regenerei os embeddings no seu site.
Também estou atualizando a dica de ferramenta nessas configurações para tentar evitar essa confusão no futuro.
Fora isso, tentei pesquisar por “shopify integration” e obtive o seguinte documento de pesquisa hipotético:
o que está alinhado com o que esperamos.
Você pode tentar pesquisar agora e compartilhar sua experiência?
@Falco isso parece estar funcionando muito melhor, obrigado! Eu tinha adicionado os prompts na configuração de incorporação na tentativa de melhorá-la, mas é claro que não teve efeito.
@Falco talvez eu tenha falado cedo demais. Sempre que pesquiso agora, a IA sempre encontra exatamente 40 resultados, independentemente do que eu pesquiso. Muitos dos resultados também não são muito relevantes (sugerindo o tópico sobre esta categoria, por exemplo).
Eu esperaria 0 resultados de pesquisa e 0 resultados de IA nesse caso específico. Suportamos JS ES6/ECMAScript2015 (sim, muito antigo), mas ainda não está em nenhuma postagem da comunidade.
A forma como nossa IA de pesquisa atual funciona é:
Pega a entrada do usuário
Cria uma nova postagem sobre isso, levando em consideração a descrição do fórum
Retorna os tópicos semanticamente mais semelhantes a ela
Não há um limite de distância onde cortamos a pesquisa, pois descobrir um limite geral que cubra todas as milhares de instâncias do Discourse não é trivial. Isso é discutido em Setting a similarity threshold for semantic search.
Estamos estudando o lançamento de uma nova abordagem que fará uma pesquisa mais padrão de LLM + RAG e retornará uma resposta conversacional, onde você pode ajustar o prompt para dizer “nenhum resultado encontrado”. Isso chegará nas próximas semanas, avisarei você aqui quando puder testar.
Seria ótimo. Era isso que eu estava tentando fazer ao adicionar os prompts na seção de embeddings. Como você não pode definir um limite agora, é por isso que sempre vemos cerca de 40 resultados?
Hoje, a busca por IA funciona como um sistema de failover quando a busca padrão não retorna resultados, agindo como um dicionário de sinônimos superpotente. No entanto, no seu caso, a consulta de busca não tem nenhum resultado possível em todo o fórum, o que não é o caso de uso para o qual foi projetada.
Fique atento à próxima versão da busca; ela será mais próxima do que você deseja.
Sim, gostaria de testar isso em nosso site. Testei em seu site e também vi a opção existente "Ocultando 50 resultados encontrados usando IA" quando em pesquisa completa. Essa opção ainda usa a pesquisa HyDE anterior?
O novo recurso não usa o alternador. Ele exibe a resposta conversacional acima da experiência de pesquisa padrão e está aqui em conjunto com a pesquisa de palavras-chave e semântica existente.
Essa persona pode ter uma ferramenta personalizada associada a ela? Estou pensando que isso poderia ser uma maneira de obter documentação relevante de nossa base de conhecimento externa para exibi-la nos resultados da pesquisa sem interagir com o bot.
