Oh, je vois maintenant, merci pour l’explication, c’est ce qui me manquait.
Au fait, je sais qu’il y a souvent un réordonnancement dans les RAG plus avancés. Y a-t-il quelque chose comme un réordonnancement dans la façon dont Discourse le gère ? Pensez-vous qu’ajouter une étape de réordonnancement aurait un effet positif ?
Le reranking est en cours.
@Falco / @Roman a implémenté un reranker de base dans discourse :
Ceci est utilisé dans la recherche sémantique et RAG. Cependant, il est assez caché et pas facile à configurer.
Je pense que le plan à moyen terme ici (dont nous avons discuté avec @awesomerobot) était de passer de la terminologie LLM à Models… et peut-être de faire un peu d’unification de l’interface utilisateur afin que vous puissiez définir les embeddings/rerankers et les LLM dans une seule interface.
Pour l’instant, nous ne prenons en charge qu’une API de reranker hugging face très spécifique.
Cela améliore certainement la qualité des résultats.
Génial !
Donc, actuellement, c’est désactivé par défaut et ne peut pas être facilement configuré sur un plan hébergé (pro) ?
Pas sûr, attendons que @Falco réponde.
Salut @Falco
Y a-t-il un moyen d’activer le reranker pour les tests ou une chronologie ?
Nous venons de déployer une amélioration majeure de la technologie sous-jacente qui alimente la recherche sémantique dans Discourse sur DEV: Re-introduce PG Vector 0.8.0 upgrade by romanrizzi · Pull Request #35233 · discourse/discourse · GitHub.
Pouvez-vous réessayer votre cas d’utilisation maintenant, c’est déjà déployé sur votre site. Je m’attends à ce que cela améliore le RAG sans avoir besoin d’un réordonnanceur.
Nous voulons toujours rendre le réordonnanceur largement disponible, mais nous attendons que certains changements en amont soient intégrés.
Merci Falco !
Est-ce que cela fonctionnera uniquement pour la recherche sémantique sur les sujets Discourse, ou aussi pour les documents RAG téléchargés sur une persona ? D’après ma propre expérience, l’IA fonctionne assez bien avec les sujets de forum (c’est-à-dire sur ask.discourse), mais pas aussi bien avec les documents téléchargés sur une persona (ou je n’ai pas encore trouvé la meilleure formule).
Cela affecte toutes les utilisations des embeddings dans Discourse, y compris les sujets connexes, le RAG, la recherche, les suggestions de catégories et de tags dans le compositeur, etc.
Salut @tpetrov, les résultats se sont-ils améliorés avec le nouveau modèle d’intégration ?
Salut Falco, désolé, je n’ai pas eu le temps de tester de manière approfondie, donc je ne peux pas vraiment dire.
Je suppose qu’il n’y a aucun moyen de passer de l’un à l’autre pour comparer ?
Pas maintenant, les anciens et les nouveaux modèles étaient disponibles pendant quelques mois, mais nous avons récemment retiré les anciens de notre hébergement.