Discourse AI - Embeddings

[Falco]

@Overgrow

Est-ce que je comprends bien que le backfill est le moment où la vectorisation se produit ?

Oui.

@Overgrow

Lors du passage d’un modèle à l’autre, les vecteurs doivent-ils être recalculés ?

Oui, chaque modèle produit des représentations vectorielles différentes.

@Overgrow

Il serait utile de savoir comment les coûts d’utilisation de l’API OpenAI se comparent à l’investissement dans un serveur à GPU avec une solution open source.

C’est essentiellement un appel par sujet, donc très facile à calculer.

@Overgrow

Existe-t-il une formule ou un moyen d’estimer le nombre de jetons utilisés ?

Si la plupart de vos sujets sont longs, ils seront tronqués à 8k jetons, sinon ils utiliseront la longueur de votre sujet.

@Overgrow

Nous utilisons l’API uniquement pour vectoriser les publications, pas pour calculer les distances vectorielles, n’est-ce pas ?

Oui.

@Overgrow

Je suppose que pour les sujets connexes et la recherche par IA, toutes les publications doivent être vectorisées une seule fois, je peux donc calculer le nombre total de mots dans la table des publications et en déduire le nombre de jetons nécessaires. Le même processus s’appliquerait à l’ajout quotidien de publications. Je néglige les phrases de recherche pour l’instant.

Les deux fonctionnent au niveau du sujet, donc un par sujet.

[satonotdead]

@falco

Je les ai laissés de côté involontairement car la tâche rake est tombée en disgrâce et ne devrait être utilisée que dans de rares occasions par des opérateurs expérimentés qui peuvent facilement les installer en dehors de la bande.

Puis-je savoir comment ajouter correctement les gems sans forker le plugin avec la PR suggérée ?

J’essaie la fonctionnalité de mise à l’échelle à zéro sur HuggingFace et j’ai juste besoin d’utiliser la tâche rake pour le remplissage des embeddings.

[jlcoo (Jiang Long)]

Pourquoi le code d’erreur 418 est-il renvoyé lorsque j’utilise la recherche complète des embeddings d’IA Discourse dans DiscourseAi::Embeddings::EmbeddingsController#search en tant que JSON ? Pouvez-vous m’aider ?

[Falco (Falco) A scindé ce sujet ()]

3 messages ont été déplacées vers un nouveau sujet : Problème d’intégration Gemini après la mise à jour de Discourse vers la version 3.6.0 Beta 2

[Falco (Falco) A scindé ce sujet ()]

2 messages ont été déplacées vers un nouveau sujet : Clarification sur la configuration des intégrations de l’API Gemini