Discourse AI - Recherche IA

:bookmark: Ce guide explique comment activer et configurer la fonctionnalité de recherche IA, qui fait partie du plugin Discourse AI.

:person_raising_hand: Niveau d’utilisateur requis : Administrateur

Semblable à Sujets similaires, la recherche IA vous aide à trouver les sujets les plus pertinents en utilisant la similarité textuelle sémantique, allant au-delà de la simple correspondance exacte de mots-clés utilisée par la recherche traditionnelle. Cela permet de découvrir des sujets qui ne correspondent pas exactement mais qui sont néanmoins pertinents par rapport à la recherche initiale. Si vous ne trouvez pas ce que vous cherchez, la recherche IA est là pour vous aider !

Fonctionnalités

  • Similarité textuelle sémantique : va au-delà de la simple correspondance de mots-clés et utilise l’analyse sémantique pour trouver la similarité textuelle
  • Recherche rapide par IA : ajoute automatiquement des résultats d’IA dans la fenêtre contextuelle du menu de recherche lorsque peu de résultats normaux sont trouvés (activé avec ai_embeddings_semantic_quick_search_enabled)
  • Activation/désactivation de la recherche IA dans la recherche en page complète
  • HyDE optionnel (Hypothetical Document Embeddings) : utilise un LLM pour développer les requêtes pour de meilleurs résultats
  • Résultats indiqués par l’icône :sparkles:
  • Applicable aux utilisateurs anonymes et connectés

Activation de la recherche IA

Prérequis

Pour utiliser la recherche IA, vous aurez besoin des Embeddings configurés. Un Modèle de Langage Étendu (LLM) est optionnellement nécessaire si vous activez HyDE (Hypothetical Document Embeddings) pour une meilleure qualité de recherche.

Embeddings

Si vous êtes sur notre hébergement, nous vous fournirons une option par défaut. Pour les auto-hébergeurs, suivez le guide sur Discourse AI - Embeddings

Modèle de Langage Étendu (LLM) (optionnel — pour HyDE)

Un LLM n’est requis que si vous activez le paramètre ai_embeddings_semantic_search_use_hyde, qui utilise un LLM pour créer un document hypothétique à partir de la requête de recherche avant de l’intégrer (embedding). Cela peut améliorer la qualité des résultats mais ajoute de la latence et des coûts.

Pour commencer, vous pouvez les configurer via la page des paramètres Discourse AI - Large Language Model (LLM).

Configuration

  1. Allez dans AdminPluginsDiscourse AIFeaturesEmbeddings pour trouver tous les paramètres de recherche IA
  2. Activez ai_embeddings_enabled pour les Embeddings
  3. Activez ai_embeddings_semantic_search_enabled pour activer la recherche IA sur la recherche en page complète
  4. Activez optionnellement ai_embeddings_semantic_quick_search_enabled pour ajouter des résultats IA dans la fenêtre contextuelle du menu de recherche
  5. Activez optionnellement ai_embeddings_semantic_search_use_hyde pour utiliser HyDE pour des résultats améliorés (nécessite un LLM)

FAQ Technique

Développer pour un aperçu de la logique de recherche IA (avec HyDE activé)
mermaid height=255,auto
sequenceDiagram
    User->>+Discourse: Rechercher "gamification" 
    Discourse->>+LLM: Créer un article sur "gamification" dans un forum à propos de<br>  "Discourse, un système de forum Internet open source."
    LLM->>+Discourse: La gamification implique l'application d'éléments de conception de jeu comme<br>  des points, des badges, des niveaux et des classements à des contextes non ludiques...
    Discourse->>+EmbeddingsAPI: Générer des Embeddings pour "La gamification implique l'application de conception de jeu..."
    EmbeddingsAPI->>+Discourse: [0.123, -0.321...]
    Discourse->>+PostgreSQL: Donnez-moi les sujets les plus proches pour [0.123, -0.321...]
    PostgreSQL->>+Discourse: Sujets: [1, 5, 10, 50]
    Discourse->>+User: Sujets: [1, 5, 10, 50]

Comment fonctionne la recherche IA ?

  • Lorsque HyDE est activé (ai_embeddings_semantic_search_use_hyde), la requête de recherche est transmise à un LLM qui crée un sujet/message hypothétique. Des Embeddings sont ensuite générés à partir de ce message hypothétique et utilisés pour rechercher des correspondances similaires sur votre site. Lorsque HyDE est désactivé (par défaut), la requête de recherche est directement intégrée et utilisée pour la mise en correspondance de similarité. Dans les deux cas, les résultats sont fusionnés avec les résultats de recherche normaux en utilisant la Fusion de Rang Réciproque (RRF) pour reclasser les meilleurs résultats.

Comment les données de sujet/message sont-elles traitées ?

  • Lorsque HyDE est activé, les données du LLM sont traitées par un fournisseur tiers ; veuillez vous référer à votre fournisseur spécifique pour plus de détails. Par défaut, le microservice Embeddings est exécuté aux côtés d’autres serveurs hébergeant vos forums existants. Aucun tiers n’est impliqué ici, et cette information spécifique ne quitte jamais votre réseau interne dans notre centre de données privé virtuel.

Où vont les données ?

  • Lorsque HyDE est activé, un sujet/message hypothétique créé par le fournisseur LLM est mis en cache temporairement aux côtés des Embeddings pour ce document. Les données des Embeddings sont stockées dans la même base de données où nous stockons vos sujets, messages et utilisateurs. C’est une autre table de données là-dedans.

À quoi ressemble le « modèle sémantique » des Embeddings ? Comment a-t-il été « entraîné », et existe-t-il un moyen de tester qu’il peut s’appliquer avec précision aux sujets de nos communautés « spécialisées » ?

  • Par défaut, nous utilisons des modèles open source pré-entraînés, comme celui-ci. Nous les avons déployés chez de nombreux clients et avons constaté qu’ils fonctionnent bien pour les communautés de niche et générales. Si les performances ne sont pas suffisantes pour votre cas d’utilisation, nous avons des modèles plus complexes prêts à l’emploi, mais d’après notre expérience, l’option par défaut est un choix solide.
6 « J'aime »

J’ai remarqué un bug mineur de l’interface utilisateur pour ai embeddings semantic search hyde model. Étapes pour reproduire

  1. Installer le plugin AI Discourse
  2. Ouvrir les paramètres → Configurer la clé Gemini
  3. Activer i embeddings semantic search enabled
  4. ai embeddings semantic search hyde model affiche Google - gemini-pro (non configuré)

Le non configuré ne disparaît qu’après que toutes les configurations sont activées et que la page est actualisée par la suite.

2 « J'aime »

Je pense que c’est une limitation de notre page de paramètres de site, donc je m’en excuse et je suis content que vous ayez pu résoudre le problème.

1 « J'aime »

Une question de sémantique. Dans certains modules d’IA, je vois une référence à l’utilisation de Gemini, tandis que dans d’autres, je vois une référence à Gemini-Pro. Font-ils référence à des modèles différents (Gemini Nano, Pro et Ultra) ou font-ils référence au même LLM ? Si oui, alors à quoi fait référence Gemini lui-même et est-ce que cela importe si l’on a un abonnement payant ou gratuit à Gemini ?

1 « J'aime »

Il existe différents modèles Gemini, tels que ceux que vous avez mentionnés. Selon celui que vous avez (probablement Pro car il est gratuit actuellement), vous n’avez qu’à brancher la clé API dans le paramètre pertinent. Le paramètre concerne le modèle Gemini que vous avez.

Cela dépendrait de vous et de la manière dont vous souhaitez utiliser Gemini, mais l’un ou l’autre devrait fonctionner.

Plus d’informations ici :

1 « J'aime »

Existe-t-il un moyen d’injecter quelque chose dans l’invite initiale du LLM ou de manipuler les embeddings avant qu’ils ne soient transmis à la recherche normale ?

J’essaie de renforcer (ou éventuellement de séparer) les réponses du personnel (plus faisant autorité) des réponses de la communauté.

2 « J'aime »

Actuellement, nous ne prenons pas en charge l’injection personnalisée d’invites LLM dans AI Search, bien que cela puisse être quelque chose à ajouter à l’avenir.

Je vous recommande de faire une demande de fonctionnalité !

2 « J'aime »

Je viens de commencer à jouer avec la recherche IA et j’aime ça jusqu’à présent. Je ne trouve aucune raison de ne pas l’utiliser tout le temps. Existe-t-il un moyen de n’afficher que les résultats de l’IA (autre que d’utiliser CSS pour masquer .fps-result mais pas .ai-result) ?

Pouvez-vous également m’expliquer où trouver la recherche rapide ?

1 « J'aime »

Hé, c’était temporairement disponible exclusivement sur Meta à titre d’expérience. Je l’ai retiré de l’OP - merci de l’avoir signalé.

Nous utilisons Discourse Algolia Search pour la recherche prédictive dans l’en-tête. Pouvons-nous continuer à utiliser Discourse AI - AI search ?

Un message a été divisé en un nouveau sujet : Ne pas voir le panneau des préférences utilisateur pour Discourse AI