Discourse AI - Embeddings

[Falco]

@Overgrow

Est-ce que je comprends bien que le backfill est le moment où la vectorisation se produit ?

Oui.

@Overgrow

Lors du passage d’un modèle à l’autre, les vecteurs doivent-ils être recalculés ?

Oui, chaque modèle produit des représentations vectorielles différentes.

@Overgrow

Il serait utile de savoir comment les coûts d’utilisation de l’API OpenAI se comparent à l’investissement dans un serveur à GPU avec une solution open source.

C’est essentiellement un appel par sujet, donc très facile à calculer.

@Overgrow

Existe-t-il une formule ou un moyen d’estimer le nombre de jetons utilisés ?

Si la plupart de vos sujets sont longs, ils seront tronqués à 8k jetons, sinon ils utiliseront la longueur de votre sujet.

@Overgrow

Nous utilisons l’API uniquement pour vectoriser les publications, pas pour calculer les distances vectorielles, n’est-ce pas ?

Oui.

@Overgrow

Je suppose que pour les sujets connexes et la recherche par IA, toutes les publications doivent être vectorisées une seule fois, je peux donc calculer le nombre total de mots dans la table des publications et en déduire le nombre de jetons nécessaires. Le même processus s’appliquerait à l’ajout quotidien de publications. Je néglige les phrases de recherche pour l’instant.

Les deux fonctionnent au niveau du sujet, donc un par sujet.