Discourse AI - Embeddings

[Falco]

@Overgrow

Ho capito bene che il backfill è quando avviene la vettorializzazione?

Sì.

@Overgrow

Quando si passa da un modello all’altro, i vettori devono essere ricalcolati?

Sì, ogni modello produce rappresentazioni vettoriali diverse.

@Overgrow

Sarebbe utile sapere come i costi dell’utilizzo dello stack API di OpenAI si confrontano con l’investimento in un server con GPU e una soluzione open source.

È fondamentalmente una chiamata per argomento, quindi molto facile da calcolare.

@Overgrow

Esiste una formula o un modo per stimare il numero di token utilizzati?

Se la maggior parte dei tuoi argomenti sono lunghi, verranno troncati a 8k token, altrimenti utilizzeranno la lunghezza del tuo argomento.

@Overgrow

Stiamo usando l’API solo per vettorializzare i post, non per calcolare le distanze vettoriali, giusto?

Sì.

@Overgrow

Presumo che sia per gli argomenti correlati che per la ricerca basata sull’IA, tutti i post debbano essere vettorializzati solo una volta, quindi posso calcolare il numero totale di parole nella tabella dei post e derivare il numero di token necessari. Lo stesso processo si applicherebbe all’aggiunta giornaliera di post. Per ora sto trascurando le frasi di ricerca.

Entrambi funzionano a livello di argomento, quindi uno per argomento.

[satonotdead]

@falco

Li ho omessi involontariamente poiché il rake task è caduto in disuso e dovrebbe essere utilizzato solo in rare occasioni da operatori esperti che possono facilmente installarli esternamente.

Posso sapere come aggiungere correttamente le gem senza fare un fork del plugin con la PR suggerita?

Sto provando la funzionalità scale-to-zero su HuggingFace e ho solo bisogno di usare il rake task per il backfill degli embeddings.

[jlcoo (Jiang Long)]

perché restituisce il codice di errore 418 quando utilizzo la ricerca completa di discourse ai embeddings in DiscourseAi::Embeddings::EmbeddingsController#search come JSON? Potresti aiutarmi?

[Dmitry_Krasnoperov]

È possibile utilizzare Deepseek come provider? Quale modello?
Come stimare il costo di creazione, dato che ho un DB piuttosto grande (14,3 GB).

[Falco]

@Dmitry_Krasnoperov

Deepseek può essere utilizzato come provider? Quale modello?

Può essere utilizzato qualsiasi modello che esponga un’API compatibile con OpenAI.

@Dmitry_Krasnoperov

Come stimare il costo di creazione, dato che ho un DB piuttosto grande (14,3 GB)?

Il numero di argomenti pubblici moltiplicato per le dimensioni del modello di embedding, moltiplicato per 16 per i dati in byte, più il numero di argomenti moltiplicato per le dimensioni diviso per 8 per l’indice.