Ah, entendi agora, obrigado pela explicação, era isso que estava faltando.
A propósito, sei que muitas vezes há reclassificação em RAG mais avançado. Existe algo como reclassificação em como o Discourse lida com isso? Você acha que adicionar uma etapa de reclassificação teria algum efeito positivo?
A reclassificação é um trabalho em andamento.
@Falco / @Roman implementou um reclassificador básico no discourse:
Isso é usado em busca semântica e RAG. No entanto, é bastante oculto e não é fácil de configurar.
Acho que o plano de médio prazo aqui (que discutimos com @awesomerobot) foi passar da terminologia de LLM para Modelos… e talvez fazer um pouco de unificação de UI para que você possa definir embeddings/reclassificadores e LLMs em uma única interface.
Por enquanto, suportamos apenas uma API de reclassificador hugging face muito específica.
Certamente melhora a qualidade dos resultados.
Incrível!
Então, atualmente, isso está desativado por padrão e não pode ser configurado facilmente em um plano hospedado (pro)?
Não tenho certeza, vamos esperar o @Falco responder.
Olá @Falco,
há alguma maneira de habilitar o reranker para testes ou talvez um cronograma?
Acabamos de implantar uma grande melhoria na tecnologia subjacente que impulsiona a pesquisa semântica no Discourse em DEV: Re-introduce PG Vector 0.8.0 upgrade by romanrizzi · Pull Request #35233 · discourse/discourse · GitHub.
Você pode tentar seu caso de uso novamente agora, já está implantado em seu site. Minha expectativa é que isso melhore o RAG sem a necessidade de um reranker.
Ainda queremos tornar o reranker amplamente disponível, mas estamos aguardando algumas alterações upstream antes.
Obrigado, Falco!
Isso funcionará apenas para a pesquisa semântica em tópicos do Discourse, ou também para documentos RAG carregados em uma persona? Pela minha própria experiência, a IA funciona muito bem com tópicos de fórum (ou seja, no ask.discourse), mas não tão bem com documentos carregados em uma persona (ou ainda não encontrei a melhor fórmula).
Isso afeta todos os usos de embeddings no Discourse, incluindo Tópicos Relacionados, RAG, Pesquisa, sugestões de categorias e tags do Composer, etc.
Ei @tpetrov, os resultados melhoraram com o novo modelo de embeddings?
Ei Falco, desculpe, não tive tempo de testar extensivamente, então não posso dizer realmente.
Acho que não há como alternar entre os dois para comparar?
Não agora, os modelos antigo e novo ficaram disponíveis por alguns meses, mas recentemente aposentamos os antigos em nossa hospedagem.