Discourse AI - Sujets liés

[Discourse]

Ce guide explique comment activer et configurer la fonctionnalité de sujets connexes du plugin Discourse AI.

Niveau d’utilisateur requis : Administrateur

Les sujets connexes aident les utilisateurs à découvrir du contenu pertinent en suggérant des sujets sémantiquement similaires à celui qu’ils lisent actuellement. Cela améliore l’exploration du contenu et augmente l’engagement des utilisateurs.

Fonctionnalités

• Similarité sémantique textuelle : Va au-delà de la correspondance par mots-clés pour trouver du contenu véritablement connexe
• Basculer entre les sujets « Suggérés » et « Connexes »
• Disponible pour les utilisateurs anonymes et connectés

Activation des sujets connexes

Les sujets connexes sont activés par défaut pour tous les clients hébergés par Discourse avec le plugin Discourse AI activé.

Prérequis

Les sujets connexes nécessitent des Embeddings pour fonctionner.

Si vous êtes sur notre hébergement, les Embeddings sont fournis à l’aide d’un modèle open-source. Aucune configuration supplémentaire n’est requise.

Les instances auto-hébergées devront fournir leurs propres Embeddings via un fournisseur tiers.

Configuration

1. Accédez à Admin → Paramètres → Plugins
2. Recherchez « discourse-ai » et assurez-vous qu’il est activé
3. Activez ai_embeddings_enabled pour activer les Embeddings
4. Activez ai_embeddings_semantic_related_topics_enabled pour activer la fonctionnalité Sujets connexes

Configuration supplémentaire

Selon votre configuration, vous devrez peut-être ajuster les paramètres suivants :

• Pour les sites non anglais (hébergés par Discourse ou auto-hébergés avec leur propre modèle) :
  Définissez ai embeddings model sur multilingual-e5-large
• Pour Cloudflare Workers AI :
  Définissez ai embeddings model sur bge-large-en
• Pour OpenAI ou Azure OpenAI :
  Définissez ai embeddings model sur text-embedding-ada-002

FAQ technique

Développer pour voir un diagramme de l'architecture des sujets connexes

L’aperçu est que lorsqu’un sujet est créé / mis à jour, voici ce qui se passe :

sequenceDiagram
    User->>Discourse: Crée un sujet
    Discourse-->>Embedding Microservice: Génère des embeddings
    Embedding Microservice-->>Discourse: 
    Discourse-->>PostgreSQL: Stocke les embeddings 

Et lors de la visite d’un sujet :

sequenceDiagram
    User->>Discourse: Visite un sujet
    Discourse-->>PostgreSQL: Interroge les sujets les plus proches
    PostgreSQL-->>Discourse: 
    Discourse->>User: Présente les sujets connexes 

Comment fonctionnent les sujets connexes ?

• Lorsqu’un utilisateur visite un sujet, Discourse interroge la base de données pour trouver les sujets sémantiquement les plus similaires en fonction de leurs représentations embarquées. Ces sujets connexes sont ensuite présentés à l’utilisateur, encourageant une exploration plus approfondie du contenu de la communauté.

Comment les données des sujets/messages sont-elles traitées ?

• Pour les sites hébergés par Discourse, les données sont traitées dans notre centre de données virtuel privé sécurisé. Pour les sites auto-hébergés, le traitement des données dépend du fournisseur tiers que vous avez choisi.

Où sont stockées les données d’embeddings ?

• Les données d’embeddings sont stockées dans votre base de données Discourse, aux côtés d’autres données du forum telles que les sujets, les messages et les utilisateurs.

Quel modèle sémantique est utilisé et comment a-t-il été entraîné ?

• Les sites hébergés par Discourse utilisent par défaut le modèle all-mpnet-base-v2. Ce modèle fonctionne bien pour les communautés de niche et générales. Les sites auto-hébergés peuvent utiliser différents modèles en fonction du fournisseur choisi.

[EricGT]

Quelque chose à surveiller.

En examinant de nombreux messages dans les sujets connexes pour un site en anglais (OpenAI), je commence à remarquer que les sujets en espagnol ont tendance à être regroupés et je soupçonne que s’ils étaient d’abord traduits en anglais, chaque message aurait un vecteur différent et serait donc regroupé avec d’autres messages.

---

---

Un avantage secondaire de cette fonctionnalité pour les modérateurs est de vérifier que les catégories des sujets listés dans les sujets connexes sont correctes.

Lorsque j’examine chaque nouveau message, je vérifie également les sujets connexes. Cela devient un moyen efficace d’identifier les sujets créés avec la mauvaise catégorie.

Pour information - Une idée connexe a été notée dans cette demande de fonctionnalité.

Have the AI read the first post of a topic

Suggestion Have the AI read the first post of a topic to make sure It is coherent The category and the tags agree. (I know this can be configured but why not let the AI do it) The content of the post agrees with the category and tags. The content of the post agrees with the title of the post. It is relevant to the forum. (I know spam detectors will catch some of this but sometimes it is not spam and just doesn’t belong) Users may not use the correct category and/or tags and then ask a quest…

---

---

Trouvez ce sujet lorsque vous avez souvent besoin de suivre un lien qui n’est pas si facile à trouver, donc je le note ici.

Discourse AI - Related Topics: Enhancing Content Exploration

At Discourse we are always working to elevate your community experience.  Our Discourse AI modules are designed to make both the management and member experience of your community easier, simpler, faster, and hopefully, more fun. This is a companion discussion topic for the original entry at https://blog.discourse.org/2023/12/ai-related-topics-enhancing-content-exploration

[Falco]

@EricGT

Quelque chose à surveiller.

En examinant de nombreux messages dans les sujets connexes pour un site en anglais (OpenAI), je commence à remarquer que les sujets en espagnol ont tendance à être regroupés et je soupçonne que s’ils étaient d’abord traduits en anglais, chaque message aurait un vecteur différent et serait donc regroupé avec d’autres messages.

Ce comportement est régi par le modèle, et il semble s’agir d’un problème connu :

Does ada support other languages than English?

Je pense que le modèle OSS que nous recommandons pour les sites multilingues fait un meilleur travail à cet égard, mais nous devons encore le déployer auprès de plus de clients pour valider cela.

[RBoy]

@Saif

• Activer ai_embeddings_enabled pour le module Embeddings nécessaire à la fonctionnalité Sujets connexes

Cela ne me permet pas d’activer cette option :

Est-ce que quelque chose me manque ici ou Gemini seul ne suffit pas ?

MISE À JOUR : Les instructions et la description de l’erreur pourraient être mises à jour pour ajouter que le modèle d'intégration d'IA doit également être mis à jour pour correspondre au fournisseur, sinon ai_embeddings_enabled ne peut pas être activé. La description du paramètre manque Gemini comme option.

[Falco (Falco) A scindé ce sujet ()]

7 messages ont été divisées dans un nouveau sujet : "Erreurs Net::HTTPBadResponse" sur Gemini Embeddings

[Bathinda (Bathinda Helper)]

Que dois-je remplir ici svp :

Je veux activer la première option parmi les 4 présentées ci-dessous :

[Jagster (Jakke Lehtonen)]

@Bathinda

Que dois-je remplir ici svp

Si vous utilisez OpenAI, rien.

[Bathinda (Bathinda Helper)]

Alors cette première option (Module d’intégration) me pose problème, elle ne me permet pas de l’activer :

[Jagster (Jakke Lehtonen)]

La plupart d’entre eux sont vides. Mais ai embeddings discourse service api key est votre clé API OpenAI et ai embeddings discourse service api endpoint est https://api.openai.com/v1/embeddings. Le modèle doit être text-embedding-3-large (bien sûr, il peut aussi être small mais il présente quelques problèmes).

[Overgrow]

@Jagster

Le modèle devrait être text-embedding-3-large (certes, il peut aussi être small mais il a quelques problèmes).

Quels ont été vos résultats en comparant small et large ? Je sais qu’il y a une différence de dimensions qui affecte la précision du modèle. La version small est 5 fois moins chère. Est-elle vraiment inutilisable dans le monde réel pour la similarité thématique ? Notre forum est composé à 99 % d’anglais.

@Falco

Je pense que le modèle OSS que nous recommandons pour les sites multilingues fait un meilleur travail à cet égard.

Je serais très intéressé d’en savoir plus. Pouvez-vous s’il vous plaît expliquer où se situe all-mpnet-base-v2 par rapport aux modèles OpenAI pour un site purement anglais ?

[Jagster (Jakke Lehtonen)]

Les embeddings sont si bon marché que le prix n’a pas d’importance — à moins qu’il y ait une myriade de publications où 0,01 centime compte dans les coûts totaux.

Mais honnêtement… Je n’ai vu aucune différence. Et pour moi, parce qu’il y a une chance que je ne puisse pas utiliser RAG et les embeddings correctement, les deux sont également inutiles. Je sais que c’est très contraire à l’opinion publique, mais sur mon site, ce système ne trouve et n’utilise rien d’utile.

Cela vient probablement des modèles OpenAI, mais je n’ai pas assez d’argent pour utiliser ces solutions plus professionnelles.

[haydenjames]

@Discourse

Pour OpenAI ou Azure OpenAI :
Définissez ai embeddings model sur text-embedding-ada-002

J’utilisais auparavant le modèle text-embedding-3-small avant de lire ceci. Est-ce que le text-embedding-ada-002 est bien meilleur ?

[sam (Sam Saffron)]

Ada est la génération précédente