Plugin API de modération

:information_source: Résumé Le Plugin Discourse Moderation API améliore votre forum Discourse avec des capacités de modération automatisées. Il exploite le moteur de détection éprouvé de l’API de modération et inclut un tableau de bord de modération amélioré pour multiplier par 10 l’efficacité des modérateurs.
:hammer_and_wrench: Lien vers le dépôt https://github.com/moderation-api/discourse-moderation-api
:open_book: Guide d’installation Comment installer des plugins dans Discourse

:hammer_and_wrench: Fonctionnalités mises en avant

L’API de modération est une solution de modération complète.

Actions de modération automatisées

  • Signalez automatiquement les commentaires et les sujets.
  • Choisissez parmi plus de 20 modèles pré-intégrés pour les cas d’utilisation courants ou créez les vôtres.
  • Détectez la toxicité, le contenu NSFW, les informations personnelles identifiables (PII), le spam, l’autopromotion, les activités illégales, etc.
  • Définissez des seuils personnalisés pour le signalement automatisé.

Détection basée sur LLM

  • Intégrez les directives de votre communauté dans un agent IA.
  • Utilisez l’IA comme première ligne de défense ou comme modérateur de confiance pour signaler les commentaires.

Entraînement de modèles personnalisés

  • Développez vos propres modèles d’IA pour une précision de modération maximale.
  • Utilisez les actions des modérateurs comme retour d’information pour entraîner et affiner les modèles.
  • Améliorez continuellement le signalement automatisé grâce à l’apprentissage automatique.

File d’attente de révision améliorée

  • Utilisez éventuellement la file d’attente de révision de l’API de modération pour une expérience de modération rationalisée et moderne.
  • Créez plusieurs files d’attente de révision adaptées à différentes langues, catégories ou objectifs spécifiques.
  • Développez des flux de travail de modération pour l’escalade du contenu.
  • Attribuez des modérateurs à des files d’attente de révision spécifiques pour une gestion efficace.

Analyses du tableau de bord

  • Surveillez les activités et les résultats de l’IA via le tableau de bord de l’API de modération.
  • Obtenez des informations sur les problèmes courants et identifiez les domaines à améliorer.

Intégration transparente

  • S’intègre facilement aux flux de travail et aux rôles d’utilisateurs existants de Discourse.
  • Choisissez entre la file d’attente de révision de Discourse ou la file d’attente de révision de l’API de modération.
  • Utilise les actions de modération intégrées de Discourse.

:rocket: Configuration

Suivez ces étapes pour configurer le plugin API de modération :

Créer un projet dans l’API de modération

  • Accédez à votre tableau de bord de l’API de modération.
  • Créez un nouveau projet et sélectionnez les étiquettes que vous souhaitez détecter.

(Facultatif) Tester et ajuster les seuils

  • Utilisez les curseurs de seuil pour déterminer la rigueur de votre modération.
  • Testez la réponse de l’API dans le terrain de jeu.

Définir la clé API

  • Localisez votre clé API sous “Intégrer” dans votre tableau de bord de projet.
  • Dans le panneau d’administration de Discourse, accédez à Paramètres > API de modération.
  • Collez votre clé API dans le champ Clé API de modération.
  • Enregistrez les modifications.

Activer le plugin

  • Sélectionnez votre comportement de signalement (voir les options ci-dessous). Vous pouvez commencer par “rien” pour tester le plugin sans effectuer d’actions.
  • Appuyez sur “Activer le plugin” pour commencer à analyser les nouveaux messages. Le plugin n’analyse aucun contenu préexistant.

(Facultatif) Ajouter vos directives communautaires

  • Accédez au Studio de modèles dans l’API de modération.
  • Créez un nouvel agent IA.
  • Intégrez vos directives comme règles pour l’agent. Si vous avez des directives étendues, envisagez de créer plusieurs agents.
  • Ajoutez l’agent à votre projet.


:triangular_flag: Comportements de signalement

Le plugin offre quatre comportements de signalement différents, déterminant les actions entreprises lorsque l’API de modération signale un commentaire.

1. Signaler (Comportement par défaut)

Le bot du plugin ajoute un signalement “Inapproprié” au commentaire, conformément à votre configuration Discourse. Généralement, cela signifie que le commentaire apparaît dans la file d’attente de révision, mais il peut ne pas être immédiatement masqué tant qu’un modérateur ne l’approuve pas ou que d’autres utilisateurs ne signalent pas le commentaire. Vérifiez vos paramètres liés aux signalements dans Discourse pour la personnalisation.

2. Mettre en file d’attente pour révision

Le commentaire est instantanément masqué et ajouté à la file d’attente de révision pour que les modérateurs l’approuvent ou le rejettent.

3. Bloquer le message

Le commentaire n’est jamais publié. L’auteur reçoit un message d’erreur indiquant que le commentaire a été bloqué par le système de modération automatisé. (Vous pouvez personnaliser le message d’erreur.)

4. Rien

Aucune action immédiate n’est entreprise. Le commentaire est analysé et apparaîtra dans le tableau de bord de l’API de modération s’il est signalé. Cette option est utile pour tester l’API de modération avant d’activer pleinement le plugin.


:white_check_mark: À faire

  • Activer les actions de la file d’attente de révision de l’API de modération pour supprimer le contenu de Discourse.
  • Synchroniser les actions de la file d’attente de révision de Discourse avec la file d’attente de révision de l’API de modération.
  • Permettre des projets de modération distincts pour différentes catégories.
  • Signaler le contenu à l’aide d’une catégorie de signalement Discourse sélectionnée (utilise actuellement “Inapproprié”).

:wrench: Paramètres

Vous trouverez ci-dessous un tableau des paramètres disponibles pour le plugin API de modération ainsi que leurs descriptions :

Paramètre Description
Activer l’API de modération Contrôle si le plugin est actif.
Défaut : Désactivé
Comportement de signalement Ce qui se passe lorsqu’un contenu est signalé :
• Mettre en file d’attente pour révision
• Signaler le message
• Bloquer le message
• Rien
Défaut : Signaler le message
Message de blocage Le message affiché aux utilisateurs lorsque leur message est bloqué.
Défaut : “Votre message a été bloqué par notre système de modération.”
Notifier lors de la mise en file d’attente des messages Envoyer des notifications lorsque des messages sont mis en file d’attente pour révision.
Défaut : Activé
Vérifier les messages privés Appliquer la modération aux messages privés.
Défaut : Désactivé
Groupes à ignorer Groupes d’utilisateurs qui contournent les contrôles de modération.
Défaut : Aucun
Catégories à ignorer Catégories de forum qui contournent les contrôles de modération.
Défaut : Aucune
Clé API Votre clé d’authentification de l’API de modération.
Défaut : Aucun

:credit_card: Abonnements

Vous pouvez installer le plugin immédiatement et profiter de notre niveau gratuit ou de notre essai de 30 jours. Pour des fonctionnalités étendues et des limites d’utilisation plus élevées, explorez nos options d’abonnement.


:books: Documentation


:hammer_and_wrench: Support



Avertissement : Bien que le plugin Discourse Moderation API améliore considérablement les capacités de modération, il est essentiel d’examiner et de comprendre les implications de la modération automatisée. Assurez-vous toujours de la transparence avec votre communauté concernant l’utilisation de l’IA dans les processus de modération.

Note sur la confidentialité : Ce plugin traite le contenu généré par les utilisateurs pour appliquer les règles de modération. Assurez la conformité avec vos politiques de confidentialité et informez les utilisateurs des pratiques de traitement des données.


10 « J'aime »

Extrait du fichier README du dépôt GitHub :

Vous pouvez installer le plugin immédiatement et utiliser notre niveau gratuit ou notre essai de 30 jours.

Je n’ai pas trouvé d’informations sur un niveau gratuit sur le site Web ou dans la documentation de l’API. Quelles sont les limitations ?

De plus, le plan de paiement à l’utilisation n’est-il disponible que lorsque nous dépassons le quota d’un plan payant ?

2 « J'aime »

Le niveau gratuit est disponible pour les projets personnels. N’hésitez pas à envoyer un message pour vous inscrire.

Correct, le paiement à l’utilisation est une option pour les plans payants lorsque le quota inclus est dépassé.

3 « J'aime »

J’adore voir plus d’outils de modération IA ! Pouvez-vous s’il vous plaît clarifier ce que cela apporte que le triage IA de Discourse n’apporte pas ? Merci !

1 « J'aime »

Oui, bien sûr. Cela pourrait probablement être plus clair dans le message original.

Permettez-moi d’abord de mentionner que l’API de modération vous donne accès à une plateforme de modération complète où le moteur de détection n’est qu’une partie. Vous vous associez essentiellement à une entreprise qui a des années d’expérience dans la résolution de la modération de contenu.

Mais si nous nous concentrons uniquement sur la détection/le triage :

  1. Meilleure précision : Vous pouvez choisir parmi plus de 20 classificateurs pré-construits pour gérer les cas d’utilisation les plus courants. Cela facilite grandement le démarrage, et nous améliorons constamment nos modèles afin que vous n’ayez pas à vous soucier des dernières nouveautés.
    Vous obtiendrez généralement des résultats meilleurs et plus robustes avec un classificateur bien entraîné par rapport à un LLM dont les invites ont été ingénierées.

  2. Conscience du contexte : Le moteur de détection de l’API de modération peut également examiner les messages précédents dans un fil de discussion et l’historique d’un auteur pour fournir une meilleure analyse. Je pense que c’est une grande amélioration par rapport au triage intégré.

  3. LLM spécialisés : Je crois que Discourse vous permet de choisir entre quelques modèles comme gpt-4o et claude, où l’API de modération prend également en charge les LLM entraînés spécifiquement pour la modération de contenu comme Llama-guard et d’autres à venir. Nos LLM sont également pré-configurés avec des invites pour qu’ils fonctionnent au mieux en fonction de nos données.

  4. Entraîner des modèles personnalisés : Une fois que vous êtes connecté à l’API de modération, vous pouvez également entraîner vos propres modèles sur vos données spécifiques.

  5. Conformité : Nous hébergeons nos modèles sur nos propres serveurs et pouvons fournir des DPA personnalisés pour les entreprises où la conformité et la réglementation sont une priorité. Dans certains cas, nous pouvons même fournir des solutions sur site.

  6. Coût : Le meilleur, c’est que nous pouvons le faire moins cher à grands volumes, et dans tous les cas, fournir des tarifs forfaitaires pour des coûts prévisibles.

J’espère que cela clarifie les choses. La configuration d’un projet vous offre tellement d’options et de flexibilité par rapport à la simple écriture d’une invite, donc je dirais que c’est juste une solution beaucoup plus puissante et spécialisée.

2 « J'aime »

Lors de l’installation du plugin, lors de la reconstruction de l’application, j’obtiens cette erreur lors de la reconstruction :

Gem::LoadError : impossible d’activer faraday-2.12.2, déjà activé faraday-2.13.4
… /plugins/discourse-moderation-api/plugin.rb:11:in `activate!’

Journaux complets : er-js/faker-10.0.0 * [new branch] dependabot/npm_and_yarn/fortawesome - Pastebin.com

Daniel, merci d’avoir essayé le plugin.

Je regarde ça maintenant. En attendant, il sera un peu plus facile de vous aider si vous contactez support@moderationapi.com.

Ceci devrait maintenant être corrigé dans la dernière version du plugin. Je pense que vous pouvez simplement reconstruire votre application maintenant.