Je suis doctorant en apprentissage automatique et j’ai pensé à créer un outil permettant à chacun de former une IA personnalisée pour aider à la modération de contenu sur les forums Discourse. Est-ce que cela intéresserait les personnes ici ?
Je sais qu’il existe l’API Perspective de Google, mais elle est très générique. Mon idée est de proposer un plugin où vous pouvez modérer des publications, et qui entraîne automatiquement un classifieur de texte pour apprendre de vos actions de modération. Par exemple, si vous signalez une publication comme contenant un langage toxique ou hors sujet, il apprend de vous et peut signaler des publications similaires, voire les pré-moderer.
Les classificateurs de texte (utilisés, par exemple, dans les forums) existent depuis longtemps.
Généralement, ce type de classification et de notation de texte est réalisé à l’aide de classificateurs bayésiens.
Si vous effectuez une recherche Google avec les mots-clés :
bayesian classifier ruby
et/ou
bayesian classifier javascript
vous trouverez une multitude de bibliothèques et d’exemples de classification de texte utilisant des classificateurs bayésiens.
Nous avons utilisé divers classificateurs bayésiens au fil des ans pour la modération des messages de forum, la détection de spam, et plus encore ; et nous avons mis en œuvre du code personnalisé pour entraîner le classificateur lorsque les modérateurs effectuent des actions de modération.
Un problème potentiel ici est que de nombreuses tâches de modération ne consistent pas simplement en une sanction, mais sont plus complexes, comme « fermer le sujet pendant 12 heures », « ceci doit devenir un article wiki » ou « ceci doit être déplacé vers une autre catégorie ».