Je cherche des moyens d’intégrer l’IA dans mon forum Discourse pour aider à la modération. Je n’ai pas besoin qu’elle remplace mes modérateurs, j’ai juste besoin d’aide pour détecter des choses que les humains ne peuvent généralement pas voir. Parfois, c’est parce que ces problèmes sont littéralement invisibles pour un modérateur (comme un spammeur qui crée plusieurs comptes à partir de la même adresse IP). D’autres fois, c’est visible pour un modérateur, mais il est facile de devenir paresseux et de manquer ces choses (comme un sujet posté dans la mauvaise catégorie, ou un sujet qui dévie de sa trajectoire).
Il existe d’innombrables tâches pour lesquelles un modérateur IA pourrait aider. Voici quelques idées qui me viennent à l’esprit :
Surveiller tous les nouveaux messages pour indiquer la probabilité qu’il s’agisse d’un spammeur ou d’utilisateurs légitimes.
Surveiller les nouveaux utilisateurs et leur activité jusqu’à ce qu’ils atteignent un certain niveau de confiance.
Détecter les utilisateurs problématiques créant de nouveaux comptes après avoir été suspendus.
Identifier les sujets qui ont été postés dans la mauvaise catégorie et proposer des suggestions pour la catégorie dans laquelle ils devraient être déplacés.
Signaliser et supprimer immédiatement le contenu NSFW (Not Safe For Work).
Identifier quand la conversation dans un sujet dévie de sa trajectoire ou devrait être verrouillée.
Identifier quand un sujet a déjà été traité et devrait être redirigé.
Identifier quand un utilisateur a créé plusieurs comptes (plusieurs utilisateurs se connectant depuis la même adresse IP).
Identifier quand un utilisateur publie un message promotionnel ou non pertinent.
Sans parler du fait (et cela irait dans une direction légèrement différente), il y a des moments où l’IA pourrait même répondre à certains sujets avec un profil IA clairement marqué. Par exemple, si quelqu’un pose une question sur la façon d’utiliser le forum ou où trouver une certaine fonctionnalité (comme la façon de mettre à jour son profil), le bot pourrait répondre en identifiant quand il s’agit d’une question à laquelle il peut facilement répondre, puis il pourrait intervenir et expliquer comment le faire.
Je n’effleure même pas la surface ici, mais la question sous-jacente est : quelqu’un a-t-il créé un bot IA capable d’aider à ces types de tâches de modération dans Discourse ?
Si ce n’est pas le cas, qu’est-ce qui freine ce type d’innovation ? Cela semble incroyablement utile pour les administrateurs de forum, non pas pour remplacer les humains (bien que cela puisse être possible dans certains cas), mais pour aider les humains à faire leur travail beaucoup mieux.
Je ne sais pas, mais je suppose que l’IA est très peu fiable et peut être très coûteuse très rapidement.
Certaines de ces options sont déjà possibles, cependant. Et elles ne sont pas couramment utilisées principalement parce que, eh bien, l’IA est peu fiable et nécessite une surveillance humaine.
Un répondeur qui suit chaque publication et intervient lorsqu’il est déclenché par le contenu doit être coûteux en termes de matériel et d’argent pur. Mais un modèle qui répond au niveau de la catégorie à chaque initiateur de sujet est déjà possible.
Ensuite, il y a quelque chose comme surveiller les adresses IP, c’est assez facile à couvrir sans IA, mais c’est vraiment problématique. Avoir la même adresse IP est assez courant.
Avez-vous consulté Discourse AI et Discourse Chatbot ?
J’en ai entendu parler hier par @Jagster (merci, Jakke, de l’avoir signalé). J’ai examiné cela un peu plus, en particulier la version avancée… et si je lis bien, il semble que sa mise en œuvre sera assez coûteuse, soit en ayant un compte d’hébergement Enterprise, soit un serveur auto-hébergé assez performant.
Quoi qu’il en soit, c’est bien de savoir que cela existe déjà comme option. Il semble que cela coche certaines cases importantes, mais je peux imaginer beaucoup d’autres façons de l’utiliser. J’ai hâte de voir comment cela continuera à se développer dans les mois et les années à venir. Il y a un potentiel énorme pour ce genre de chose !
Il y a beaucoup de choses potentiellement positives à cela, ainsi que beaucoup de risques et d’inconvénients.
Stack Exchange a un bot d’IA qui examine les réponses et le mentionne à l’auteur si sa réponse semble peu claire :
« Tel qu’il est actuellement écrit, votre réponse n’est pas claire. Veuillez modifier pour ajouter des détails supplémentaires qui aideront les autres à comprendre comment cela répond à la question posée. Vous trouverez plus d’informations sur la façon de rédiger de bonnes réponses dans le centre d’aide. - Bot communautaire »
Ce type d’invite peut être très utile pour inspirer des explications plus claires et éviter que les gens ne soient confus, frustrés ou agacés par des réponses peu claires.
Ce n’est pas gourmand en ressources sur votre instance auto-hébergée car vous pouvez simplement utiliser des modèles hébergés, par exemple, openai. Vous ne payez donc que les appels API pour les embeddings et le chat.
J’ai créé une intégration personnalisée pour un client en utilisant Discourse.
J’ai collecté l’activité de modération passée et entraîné un NLP pour signaler les sujets et les commentaires qui nécessitaient une attention particulière.
J’ai ajouté un modérateur de toxicité également entraîné à partir de leur activité de modération passée.
J’ai ajouté une intégration de sentiment pour aider à résoudre rapidement les commentaires.
L’entraînement est effectué sur Google Colab et le modèle est chargé sur GCP pour servir les API à partir des webhooks de Discourse.
J’aime utiliser les forums parce que nous sommes tous de vraies personnes avec un intérêt ou un objectif commun. Quand quelqu’un répond à une question avec une réponse incorrecte, un autre utilisateur est susceptible d’intervenir pour apporter une correction. Je suppose que la même chose pourrait se produire si une IA donnait une réponse incorrecte, mais ce n’est tout simplement pas la même chose. Il est également utile pour notre propre réflexion de lire comment les autres abordent un problème, j’ai souvent découvert de nouvelles façons de penser en lisant la réponse bien raisonnée de quelqu’un, ou appris une nouvelle façon de faire quelque chose que je pensais déjà savoir faire.
Une autre considération est le potentiel de faux positifs, qui peuvent (et font !) décourager les gens. Si je visite un forum en tant que nouvel utilisateur et qu’une machine a signalé/marqué à tort mon message ou m’a suspendu ou quoi que ce soit, et qu’il est clair que cela n’aurait pas dû se produire, je… ne reviendrai probablement pas, car je quitterai le site et l’oublierai, ou je serai suffisamment agacé pour ne pas me soucier de le faire corriger.
J’ai l’impression que l’impulsion de supprimer les éléments humains de la modération va dans la mauvaise direction. La modération peut parfois avoir des règles prévisibles - et nous avons la fonction de mots surveillés, ou la mise en correspondance d’une adresse IP, par exemple, pour gérer ce genre de choses. Mais utiliser un algorithme pour gérer les choses délicates ne fait que mener à une chasse sans fin à l’algorithme parfait, détournant l’attention de la construction d’une communauté plus saine où les comportements à la source peuvent être abordés. En fin de compte, mon espoir est que les utilisateurs changent de comportement, et je dois croire qu’ils en sont capables.
Les questions routinières sont des opportunités pour les gens de créer des liens humains, et ces points de contact sont absolument cruciaux pour développer des utilisateurs à long terme qui deviendront les champions de votre forum. Un visage amical qui apparaît pour répondre à une question facile crée une atmosphère accueillante d’une manière que l’IA ne peut tout simplement pas. C’est une opportunité facile à saisir du point de vue de la construction de communauté !