Discourse AI - Embedding

[Falco]

@Overgrow

Ho capito bene che il backfill è quando avviene la vettorializzazione?

Sì.

@Overgrow

Quando si passa da un modello all’altro, i vettori devono essere ricalcolati?

Sì, ogni modello produce rappresentazioni vettoriali diverse.

@Overgrow

Sarebbe utile sapere come i costi dell’utilizzo dello stack API di OpenAI si confrontano con l’investimento in un server con GPU e una soluzione open source.

È fondamentalmente una chiamata per argomento, quindi molto facile da calcolare.

@Overgrow

Esiste una formula o un modo per stimare il numero di token utilizzati?

Se la maggior parte dei tuoi argomenti sono lunghi, verranno troncati a 8k token, altrimenti utilizzeranno la lunghezza del tuo argomento.

@Overgrow

Stiamo usando l’API solo per vettorializzare i post, non per calcolare le distanze vettoriali, giusto?

Sì.

@Overgrow

Presumo che sia per gli argomenti correlati che per la ricerca basata sull’IA, tutti i post debbano essere vettorializzati solo una volta, quindi posso calcolare il numero totale di parole nella tabella dei post e derivare il numero di token necessari. Lo stesso processo si applicherebbe all’aggiunta giornaliera di post. Per ora sto trascurando le frasi di ricerca.

Entrambi funzionano a livello di argomento, quindi uno per argomento.