Discourse AI - Embeddings

[Falco]

@Overgrow

Eu entendi corretamente que o backfill é quando a vetorização acontece?

Sim.

@Overgrow

Ao alternar entre modelos, os vetores precisam ser recalculados?

Sim, cada modelo produz representações vetoriais diferentes.

@Overgrow

Seria útil saber como os custos de uso da pilha de API da OpenAI se comparam ao investimento em um servidor com GPU e solução de código aberto.

É basicamente uma chamada por tópico, então é muito fácil de calcular.

@Overgrow

Existe uma fórmula ou alguma maneira de estimar o número de tokens usados?

Se a maioria dos seus tópicos for longa, eles serão truncados para 8 mil tokens, caso contrário, eles usarão o comprimento do seu tópico.

@Overgrow

Estamos usando a API apenas para vetorizar posts, não para calcular distâncias de vetores, certo?

Sim.

@Overgrow

Eu presumo que, tanto para tópicos relacionados quanto para pesquisa com IA, todos os posts precisam ser vetorizados apenas uma vez, então posso calcular o número total de palavras na tabela de posts e derivar o número de tokens necessários. O mesmo processo se aplicaria à adição diária de posts. Estou negligenciando as frases de pesquisa por enquanto.

Ambos funcionam no nível do tópico, então um por tópico.