 |
Résumé | Google Perspective API est le plugin officiel Google Perspective API pour Discourse |
 |
Lien vers le dépôt | https://github.com/discourse/discourse-perspective-api |
 |
Guide d’installation | Comment installer des plugins dans Discourse |
Fonctionnalités
Qu’est-ce que l’API Perspective ?
Selon le site officiel, « Perspective est une API qui facilite l’organisation de meilleures conversations. L’API utilise des modèles d’apprentissage automatique pour évaluer l’impact perçu d’un commentaire sur une conversation. Ce modèle a été entraîné en demandant aux personnes de noter des commentaires sur Internet sur une échelle allant de très toxique à très sain. Toxique est défini comme… un commentaire grossier, irrespectueux ou déraisonnable susceptible de vous faire quitter une discussion. »
Que peut faire le plugin discourse-perspective-api ?
- Demander aux utilisateurs s’ils sont sûrs de vouloir soumettre un message potentiellement toxique avant la soumission.
- Signaler automatiquement les messages toxiques pour que les modérateurs et les administrateurs les examinent.
- Optionnellement, analyser les catégories privées et les messages privés (PM) pour détecter le contenu toxique.
Configuration
Où puis-je obtenir une clé API Perspective ?
Suivez ces instructions pour créer un compte Google Cloud et obtenir accès à une clé API.
L’API peut être utilisée gratuitement, voici la documentation de référence de l’API.
Guide des paramètres du site
(Admin → Tapez ‘perspective’ dans le champ de filtre)
L’API est actuellement disponible uniquement pour la langue anglaise.
Les seuils par défaut sont définis assez haut, mais ces paramètres offrent une certaine personnalisation pour affiner le fonctionnement de ce plugin. Jouez avec la démo en direct sur la documentation officielle liée ci-dessus pour comprendre comment les seuils se comporteront.
-
perspective_enabled :
Active le plugin pour filtrer les messages potentiellement toxiques. -
perspective_toxicity_model :
Choisissez le modèle de toxicité pour l’API Perspective de Google. Pour en savoir plus sur la façon dont ces modèles sont développés, lisez la documentation de référence de l’API.-
standard
Classifie les commentaires grossiers, irrespectueux ou déraisonnables susceptibles de faire quitter une discussion aux gens. Il est plus facile de franchir le seuil avec le modèle standard si des mots grossiers et des insultes sont utilisés de manière amicale, et les messages sont signalés facilement. Si vous choisissez un seuil élevé de 0,9, le modèle standard signalera moins de messages et prendra moins de mesures incorrectes. -
toxicité sévère (expérimental)
Ce modèle utilise le même algorithme que le modèle standard, mais est entraîné à reconnaître les exemples considérés comme « très toxiques ». Cela le rend beaucoup moins sensible aux commentaires qui incluent, par exemple, des utilisations positives de mots grossiers. Les messages ne sont signalés que lorsque des cas extrêmes de toxicité sont détectés, et le seuil pour ce modèle peut être abaissé jusqu’à 0,7 comme valeur raisonnable.
Par exemple, un message contenant
"I f*****g love you man"serait signalé sous le modèle standard (en utilisant les seuils par défaut) mais pas avec le modèle toxicité sévère. -
-
perspective_notify_posting_min_toxicity_enable :
Active la vérification du contenu potentiellement toxique lorsqu’un utilisateur tente de soumettre un message et envoie une notification dans le compositeur lorsque l’utilisateur écrit quelque chose de toxique.- perspective_notify_posting_min_toxicity :
Si l’API renvoie un score supérieur à ce seuil, nous notifions l’utilisateur pour lui demander s’il est sûr de vouloir publier un contenu potentiellement toxique. Le niveau de confiance de la toxicité du message entre 0 et 1 utilisé pour vérifier la toxicité pendant que l’utilisateur rédige un message, où un score de 1 signifie extrêmement toxique. Une valeur supérieure à 0,9 ne devrait signaler que les messages hautement toxiques, selon le modèle utilisé. Comme l’utilisateur sera averti avant la publication, nous pouvons utiliser un seuil légèrement plus bas ici, comme 0,85, pour avertir les utilisateurs à l’avance.
- perspective_notify_posting_min_toxicity :
-
perspective_flag_post_min_toxicity_enable :
Signale les messages potentiellement toxiques qui ont déjà été soumis et envoie des messages pour notifier les modérateurs des messages soumis. Les administrateurs/modérateurs sont informés des messages signalés.- perspective_flag_post_min_toxicity :
Si l’API renvoie un score supérieur à ce seuil, nous signalons le message aux administrateurs/modérateurs pour examen. Le niveau de confiance de la toxicité du message entre 0 et 1 utilisé pour vérifier la toxicité après qu’un utilisateur a publié, où un score de 1 signifie extrêmement toxique. Une valeur supérieure à 0,9 ne devrait signaler que les messages hautement toxiques, selon le modèle utilisé.
- perspective_flag_post_min_toxicity :
-
perspective_google_api_key :
Clé API pour l’API Perspective que vous avez reçue après avoir terminé le processus d’inscription mentionné ci-dessus. -
perspective_check_private_message :
Vérifie et signale les messages privés s’ils sont toxiques.
Remarque : Le contenu du PM sera envoyé aux modérateurs/administrateurs.
S’applique également au mode de remplissage rétrospectif (backfill). -
perspective_check_secured_categories :
Vérifie en outre les catégories privées pour le contenu toxique en activant ce paramètre. -
perspective_backfill_posts :
Interroge la toxicité des messages existants et enregistre les résultats dans les champs personnalisés des messages.
L’activation de ce mode désactive la vérification en ligne des messages. -
perspective_historical_inspection_period :
La période en jours pour démarrer une nouvelle itération de requête après avoir terminé la dernière itération. Utilisé uniquement siperspective_backfill_postsest activé.
Captures d’écran
Ce que voit un utilisateur lorsqu’il tente de soumettre un message toxique :
Ce que voient les administrateurs/modérateurs lorsqu’un message toxique est soumis :
JOURNAL DES MODIFICATIONS
À FAIRE
Un grand merci à @fantasticfears pour la création de ce plugin !