Suporte para Vanilla Embedding Search

[shu_goea]

Seria bom ter apenas a busca semântica simples disponível sem ter que passar pelo modelo hyde.

Tenho um documento sobre como configurar um cliente perforce que usamos para controle de versão. Ao procurar por controle de versão, a busca normal não aparece porque a página não menciona a palavra-chave.

Ao habilitar a busca de página inteira, recebo um erro 500 que sempre aparece quando o resultado da IA tem 0 respostas.

No entanto, ao usar o endpoint
discourse-ai/embeddings/semantic-search.json?hyde=false&q=Version%20Control, vejo o tópico sobre perforce na lista.

Não tenho certeza se o HyDE decide filtrá-lo ou se é por causa do erro 500, mas seria bom se pudéssemos ter apenas a busca usando semântica + palavra-chave como padrão.

[Falco]

Tivemos um modo de busca como este na busca rápida do cabeçalho, apenas com embeddings assimétricos mais uma etapa de reclassificação, mas produziu resultados ruins em nossos testes usando modelos de embedding de 2023.

Esta semana, acabamos de atualizar nosso modelo de embedding aqui na Meta para o estado da arte atual, e é muito promissor, então é algo que definitivamente revisaremos em breve.

[shu_goea]

Parece empolgante! Mal posso esperar para experimentar se for amplamente divulgado.