# É possível tornar a busca padrão Semantic search no site? Quanto custam essas chamadas? **URL:** \ **Category:** Feature\ **Tags:** ai, ai-search\ **Created:** [Agosto 20, 2023, 9:11pm UTC](https://meta.discourse.org/t/is-it-possible-to-make-the-default-search-semantic-search-on-the-site-how-much-do-these-calls-cost/275953 "2023-08-20T21:11:51Z")\ **Posts on this page:** 1\ **Showing post:** 7
**Author:** ![Falco](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/falco/32/179432_2.png) [@Falco](https://meta.discourse.org/u/Falco)\ **Post date:** [Setembro 8, 2023, 5:52pm UTC](https://meta.discourse.org/t/is-it-possible-to-make-the-default-search-semantic-search-on-the-site-how-much-do-these-calls-cost/275953/7 "2023-09-08T17:52:26Z")
> [@bigfudge](#): > > Atualmente está muito lento para mim. Percebo que isso é um tanto inevitável porque há uma etapa de geração de LLM antes da recuperação, então não tenho certeza se isso pode ser corrigido, mas vale a pena saber. Parece mais lento do que uma chamada curta de gpt-3.5 seria… Conseguimos fazer com que passasse de 45s para 7s apenas esta semana com algumas otimizações inteligentes, e estamos usando isso para preencher um cache, então as pesquisas recorrentes são instantâneas. > [@bigfudge](#): > > Nem sempre é óbvio nos resultados retornados qual parte é relevante. Em um aplicativo em que estou trabalhando, estou dividindo os documentos em pedaços bem pequenos antes de criar embeddings (sentenças/parágrafos) e isso significa que, ao pesquisar/recuperar, é possível colorir cada sentença de acordo com a similaridade semântica. Isso seria um pouco como destacar as palavras-chave da pesquisa, mas apareceria um pouco como um mapa de calor com as partes semanticamente semelhantes coloridas em quente e as dessemelhantes em frio. No momento, fazemos um único embedding por tópico. Planejamos fazer embeddings por post, e isso tornará essa pesquisa ainda melhor no futuro. > [@bigfudge](#): > > É irritante ter que clicar para expandir os resultados semânticos. A interface atual é temporária e não foi feita por nossa equipe de design. Nosso objetivo era implementá-la e deixar nossa comunidade brincar com ela para coletar feedback sobre os aspectos funcionais do recurso. Uma interface adequada para isso seguirá em breve. > [@bigfudge](#): > > Dessa forma, se você escolhesse ‘similaridade’, poderia começar apresentando resultados baseados em palavras-chave e inserir documentos recuperados pelo hyde na lista à medida que chegam. Isso faria os resultados se moverem enquanto você os escaneia, o que é um grande erro em UX. Nosso principal objetivo é encontrar uma maneira de apresentar ambos de forma que sejam úteis e agreguem à experiência de pesquisa sem serem irritantes. > [@bigfudge](#): > > Vocês pensaram em maneiras de combinar resultados de palavras-chave e semânticos? Sim, é por isso que movemos ambos para acontecerem na mesma tela e com uma única entrada do que tínhamos antes. A integração adicional de ambos depende do paradigma de interface que escolhermos para esta tela. > [@bigfudge](#): > > Seria muito interessante (pelo menos para mim) poder ver o documento hipotético usado para fazer a correspondência de similaridade. Em sua própria instância, você pode consultar os `ai_api_audit_logs` para isso. Por exemplo, uma pesquisa por `Discourse app freezing on iOS` aqui mais cedo resultou na seguinte postagem hipotética: > Assunto: O aplicativo Discourse está travando no iOS > > Olá a todos, estou usando o aplicativo Discourse no meu iPhone há alguns meses e ultimamente tenho tido travamentos com bastante frequência. O aplicativo simplesmente trava e fica sem resposta, geralmente quando estou tentando carregar novas postagens ou navegar entre categorias. Parece acontecer com mais frequência quando tenho vários tópicos abertos ao mesmo tempo e alterno entre eles. Os indicadores de carregamento giram indefinidamente e tocar nos botões não faz nada. Eventualmente, ele recarrega, mas está ficando bem irritante. Estou executando a versão mais recente do iOS 13.3 em um iPhone 8 Plus. Alguém mais tem visto esse problema ultimamente? Os fóruns em si carregam bem em um navegador móvel, é apenas o aplicativo dedicado que está agindo de forma estranha. Tentei fechar à força e reabrir o aplicativo algumas vezes, mas isso não parece resolver. Alguma sugestão de outros usuários do Discourse mobile sobre como resolver esses problemas de travamento? Eu odiaria ter que parar de usar o aplicativo se ele continuar travando. Agradeço antecipadamente por qualquer ajuda ou conselho! Desde que fizemos alguns ajustes no prompt, estou incrivelmente surpreso com os resultados. > [@bigfudge](#): > > Imagino que às vezes queira editar este documento… e como a similaridade de cosseno é relativamente barata (em comparação com a chamada de geração de LLM), ainda seria bastante rápido na interface para atualizar os resultados à medida que o usuário atualiza sua consulta/documento hipotético. Essa é uma proposta interessante, mas é bastante complicada de explicar esse fluxo para o usuário médio. Dito isso, gosto muito do que a Shopify fez em sua interface administrativa, onde eles permitem que você substitua algumas recomendações de produtos sugeridas por IA. Eventualmente, poderíamos fazer o mesmo aqui. > [@bigfudge](#): > > Será ótimo quando isso for implementado de forma que o chatbot possa usar os resultados. Isso já é o caso há 2 dias. O Bot de IA usa 1/4 de seus resultados de pesquisa interna usando essa técnica. --- _[View the full topic](https://meta.discourse.org/t/is-it-possible-to-make-the-default-search-semantic-search-on-the-site-how-much-do-these-calls-cost/275953)._