@SimonBiggs en réfléchissant un peu plus à la question, j’ai réalisé qu’il serait peut-être préférable de simplement créer un service externe fermé qui pourrait recevoir des invitations à rejoindre un forum Discourse, configurer son profil, puis participer en tant qu’utilisateur, en utilisant l’API. Le profil serait réaliste mais il serait clairement indiqué dans la description qu’il s’agit d’un bot.
J’ai compris ce que le bot ferait, mais il n’a pas besoin d’être un plugin réel pour Discourse. Il doit juste s’exécuter de temps en temps en tant que cron, puis publier des commentaires et des réponses en utilisant l’API Discourse. Qu’en pensez-vous ?
J’ai quelques idées d’utilisation pour de telles fonctionnalités. Je réalise que cela sort du sujet de l’OP, mais cela semble aussi être le sujet où tous ceux qui s’intéressent à l’intégration d’un bot de type GPT3 se rendent. Si vous souhaitez démarrer un autre sujet (public ou privé), il y aura un endroit unique où les idées de la communauté seront collectées.
J’ai compris ce que le bot ferait, mais il n’a pas besoin d’être un plugin réel pour Discourse. Il doit juste s’exécuter de temps en temps en tant que cron, puis poster des commentaires et des réponses en utilisant l’API Discourse. Qu’en pensez-vous ?
Cela semble tout à fait logique. Cependant, personnellement, je ne voudrais créer que des outils d’IA open source. Et, étant donné que Discourse lui-même prévoit de créer un outil, je préférerais idéalement les aider.
Proposition d’un bot de réponse avec catégorisation planifiée et affinage pour les forums Discourse
Introduction : Les forums Discourse reposent sur l’engagement et les contributions des utilisateurs, et un aspect crucial de cela est la capacité d’obtenir des réponses rapides et précises aux questions. Cependant, il peut parfois falloir du temps pour obtenir une réponse, ce qui décourage les utilisateurs de continuer à participer à la conversation. Pour remédier à cela, nous proposons un bot capable de répondre automatiquement aux questions après un délai spécifique afin d’encourager l’engagement de la communauté. De plus, le bot allouera des appels planifiés pour catégoriser les fils de discussion existants et construire son propre ensemble de données d’affinage, qui pourra être mis à jour de temps à autre.
Objectifs : Les principaux objectifs du bot de réponse avec catégorisation planifiée et affinage pour les forums Discourse sont de :
Encourager l’engagement de la communauté en fournissant des réponses rapides et précises aux questions qui pourraient autrement rester sans réponse.
Automatiser la catégorisation des fils de discussion existants afin de garantir que les questions sont correctement étiquetées et que les utilisateurs peuvent facilement trouver des informations pertinentes.
Construire un ensemble de données d’affinage pour le bot afin d’améliorer ses performances et sa précision au fil du temps.
Solution proposée : Pour atteindre les objectifs décrits ci-dessus, nous proposons d’intégrer un bot capable de répondre automatiquement aux questions après un délai spécifique, d’allouer des appels planifiés pour catégoriser les fils de discussion existants et de construire son ensemble de données d’affinage. Le bot sera conçu pour analyser les entrées de l’utilisateur, comprendre le contexte de la conversation et générer des réponses appropriées basées sur des règles prédéfinies et des modèles d’apprentissage automatique.
Le bot utilisera des techniques de traitement du langage naturel (NLP) pour analyser les entrées de l’utilisateur et générer des réponses pertinentes pour la conversation. Il sera entraîné à comprendre le contexte de la question, le sujet discuté et les interactions précédentes de l’utilisateur afin de fournir des réponses précises et utiles. Le bot ne répondra qu’aux questions qui n’ont pas reçu de réponse dans un délai spécifique ou lorsqu’il est invoqué directement par un nom d’utilisateur.
En plus de répondre aux questions, le bot allouera des appels planifiés pour catégoriser les fils de discussion existants. Il analysera le contenu et les étiquettes du fil de discussion pour s’assurer que les questions sont correctement étiquetées et organisées pour une navigation facile. Le bot construira également son ensemble de données d’affinage en enregistrant et en catégorisant les requêtes et les réponses des utilisateurs. Cet ensemble de données sera utilisé pour entraîner et améliorer les performances du bot au fil du temps.
Avantages : Les avantages de l’intégration d’un bot de réponse avec catégorisation planifiée et affinage pour les forums Discourse sont nombreux, notamment :
Encourager l’engagement de la communauté : le bot fournira des réponses rapides et précises aux questions, encourageant ainsi les utilisateurs à continuer à participer à la conversation.
Amélioration de la catégorisation des fils de discussion : le bot automatisera la catégorisation des fils de discussion, garantissant que les questions sont correctement étiquetées et organisées pour une navigation facile.
Amélioration de la précision et des performances : l’ensemble de données d’affinage du bot sera utilisé pour entraîner et améliorer ses performances au fil du temps.
Réduction de la charge de travail des modérateurs humains : le bot réduira la charge de travail des modérateurs humains en automatisant la catégorisation des fils de discussion et en répondant aux questions qui resteraient autrement sans réponse.
Conclusion : L’intégration d’un bot de réponse avec catégorisation planifiée et affinage pour les forums Discourse est un investissement précieux qui peut aider à encourager l’engagement de la communauté, à automatiser les tâches de catégorisation et à améliorer la précision et les performances du bot au fil du temps. Nous recommandons d’explorer les modèles NLP et d’apprentissage automatique disponibles pour sélectionner celui qui répond le mieux aux besoins du forum Discourse. Le processus d’intégration doit être planifié et exécuté avec soin, avec des tests et une formation appropriés pour garantir que le bot fonctionne comme prévu.
C’est un excellent début, mais malheureusement, en tant qu’OP, cela n’atteint toujours pas ce que j’ai dit que je cherchais au début. Cependant, après avoir étudié ce domaine pendant de nombreuses années maintenant, à moins de gagner à la loterie, je n’obtiendrai pas exactement ce que je veux en essayant de le payer moi-même. Pour réitérer, j’ai besoin d’un bot qui peut non seulement faire ce que vous décrivez ci-dessus, mais qui a également une mémoire persistante des discussions précédentes avec des individus - tout comme un humain. Puisque je n’obtiendrai pas exactement ce que je veux de sitôt, mais que Discourse lui-même + la proposition en cours de développement pour un bot d’IA Discourse feraient BEAUCOUP de ce que je veux, peut-être devrais-je concentrer tous mes efforts à aider autant que possible ce projet tout en continuant à enquêter sur les mémoires persistantes en utilisant la théorie des graphes et d’autres choses - qui pourraient être ajoutées plus tard ?
Si l’implémentation/les propositions de Discourse ne répondent pas à vos besoins, et que vous êtes prêt à financer le développement d’un logiciel d’IA open source (Apache-2.0, que Discourse serait alors libre de réutiliser), je serais plus qu’heureux de vous configurer un bot d’IA pour Discourse qui a de la mémoire.
Tout ici va dépendre du modèle. Je vois beaucoup d’intérêt général ici, mais personne n’a suggéré quel modèle utiliser et personne n’a prouvé que le modèle pouvait faire quoi que ce soit d’utile, même de loin.
Même obtenir de bonnes choses de OPT est difficile et Facebook a ajouté pas mal de paramètres. Ma préoccupation générale ici (également pour l’industrie en général) est que dans l’espace ouvert, il n’y a rien d’approchant de près ou de loin à GPT 3 devinci, et GPT 4 est à l’horizon et rendra la concurrence encore plus difficile.
Dans le post suivant ci-dessus, un modèle et son utilité sont détaillés :
Le processus est Supabase + API GPT OpenAI. Actuellement, GPT 3.5 + embeddings OpenAI sont suffisants pour accomplir de nombreuses tâches souhaitées aujourd’hui d’un bot Discourse.
L’API GPT n’est pas open source. Mais c’est une API. Et lorsqu’un modèle open source rattrapera son retard (comme https://github.com/LAION-AI/Open-Assistant), il pourra être remplacé.
Je suis tout à fait d’accord. C’est pourquoi, pour l’instant, GPT 3.5 serait utilisé en arrière-plan jusqu’à ce qu’une meilleure alternative soit disponible.
Ma principale préoccupation ici est l’attribution, surtout lorsqu’un corpus est énorme comme un forum Discourse et qu’une grande partie des données utilisées pour entraîner le bot peut être obsolète.
Il y a de gros problèmes fondamentaux avec cette approche ClippyGPT. Vous ne pouvez pas remplacer la recherche par quelque chose qui ne fournit pas de liens vers le contenu. L’entraînement de cela serait également une tâche monstrueuse.
Je suis également dans le fuseau horaire de Sydney (Wagga Wagga). Mon adresse e-mail est me@simonbiggs.net. Organisons-nous un moment pour faire un appel vidéo ?
Je suis surpris que personne n’ait encore mentionné le « nouveau » Bing. Je pense que c’est un excellent exemple de ce qui pourrait être implémenté dans Discourse.
Mon plugin peut utiliser GPT3 (par défaut : « text-davinci-003 », mais vous pouvez choisir le modèle) pour résumer des sujets :
Je l’ai essayé (même en production) et je suis assez impressionné par les résultats jusqu’à présent. J’irais même jusqu’à dire que c’est parfois « sublime ».
Cependant, bien qu’il renvoie souvent des résumés pertinents, syntaxiquement corrects et convaincants, il est sujet à des inexactitudes factuelles qui peuvent être très trompeuses et nuire à son utilité. Tant de potentiel ici cependant !
Notez que le plugin est encore très expérimental mais semble maintenant stable. Les résultats varieront, mais il existe divers paramètres de qualité de vie pour améliorer vos résultats, y compris un mécanisme de vote négatif avec un paramètre de seuil qui incitera le système à récupérer un nouveau résumé auprès du LLM.
ChatGPT n’a pas de support pour le fine-tuning (ni d’API pour cela à ce jour)
Je pense qu’il serait intéressant d’entraîner un modèle basé sur GPT (soit en fine-tunant GPT-3, soit en utilisant autre chose) sur un corpus d’un site Discourse pour voir à quel point le capitaine “salade de mots” se débrouille une fois entraîné sur les données et instruit pour répondre. Avec la mise en garde claire que “garbage in, garbage out”.
Des expériences vont certainement avoir lieu, et les modèles GPT trop confiants et menteurs s’amélioreront avec le temps (à la fois grâce à de meilleures données et à des algorithmes d’atténuation qui vérifient les faits d’une manière ou d’une autre)
Le post de Richard est certainement intéressant, mais ChatGPT n’est pas encore prêt pour la tâche :
