Discourse AI - Embeddings

[Falco]

@Overgrow

Eu entendi corretamente que o backfill é quando a vetorização acontece?

Sim.

@Overgrow

Ao alternar entre modelos, os vetores precisam ser recalculados?

Sim, cada modelo produz representações vetoriais diferentes.

@Overgrow

Seria útil saber como os custos de uso da pilha de API da OpenAI se comparam ao investimento em um servidor com GPU e solução de código aberto.

É basicamente uma chamada por tópico, então é muito fácil de calcular.

@Overgrow

Existe uma fórmula ou alguma maneira de estimar o número de tokens usados?

Se a maioria dos seus tópicos for longa, eles serão truncados para 8 mil tokens, caso contrário, eles usarão o comprimento do seu tópico.

@Overgrow

Estamos usando a API apenas para vetorizar posts, não para calcular distâncias de vetores, certo?

Sim.

@Overgrow

Eu presumo que, tanto para tópicos relacionados quanto para pesquisa com IA, todos os posts precisam ser vetorizados apenas uma vez, então posso calcular o número total de palavras na tabela de posts e derivar o número de tokens necessários. O mesmo processo se aplicaria à adição diária de posts. Estou negligenciando as frases de pesquisa por enquanto.

Ambos funcionam no nível do tópico, então um por tópico.

[satonotdead]

@falco

Deixei de fora essas tarefas não intencionalmente, pois a tarefa rake caiu em desuso e só deve ser usada em raras ocasiões por operadores experientes que podem facilmente instalá-las fora de banda.

Posso saber como adicionar corretamente as gems sem fazer um fork do plugin com o PR sugerido?

Estou testando o recurso de scale-to-zero no HuggingFace e só preciso usar a tarefa rake para preencher embeddings.

[jlcoo (Jiang Long)]

Por que retorna o código de erro 418 ao usar a pesquisa completa de embeddings de IA do Discourse em DiscourseAi::Embeddings::EmbeddingsController#search como JSON? Você pode me ajudar?