Mettre en place la détection de toxicité dans votre communauté

[Discourse]

Ceci est un guide #comment-faire::tag pour configurer la détection de toxicité dans votre communauté à l’aide du Classifieur de Publications Discourse AI.

Niveau d’utilisateur requis : Administrateur

Aperçu

Dans ce sujet, nous allons utiliser Discourse AI - AI triage pour détecter la toxicité et faire respecter un code de conduite pour votre communauté. En utilisant ce guide, les administrateurs seront informés de telles publications et prendront les mesures appropriées.

Notez que les instructions ici peuvent être personnalisées selon vos préférences.

Prérequis

Pour que cela fonctionne, vous devrez avoir activé les éléments suivants :

• Discourse AI
• Discourse-Automation
• Persona avec une invite système qui définit ce qui constitue un contenu toxique.
• LLM (Grand Modèle de Langage)
  • Les clients hébergés par Discourse peuvent sélectionner notre petit LLM hébergé par CDCK lors de la configuration des Personas.
  • Les utilisateurs de Discourse auto-hébergés devront configurer un LLM tiers.

Lors de la rédaction de l’invite, en choisissant entre toxique et non toxique, évitez d’utiliser un langage similaire pour le résultat final. Dans cet exemple, nous utilisons toxique et positif (pour non toxicité)

Le classifieur ne sera pas toujours parfait à 100 %, alors méfiez-vous des résultats incorrects et personnalisez les invites en fonction des besoins de votre communauté. Plus le focus est étroit, mieux c’est.

Invites LLM copiables pour la détection de contenu toxique IA

Vous êtes un modèle d’IA de détection de toxicité assistant les modérateurs de communautés en ligne. Votre tâche consiste à analyser les publications du forum et à déterminer si elles sont toxiques et doivent être supprimées pour maintenir une communauté de haute qualité et pertinente.

Une publication doit être classée comme toxique si elle remplit l’un des critères suivants :

1. Langage nuisible : Utilisation de jurons, d’insultes ou de termes désobligeants dirigés contre des individus ou des groupes.
2. Attaques personnelles : Cibler ou harceler directement d’autres membres, y compris des insultes, des humiliations ou des dénigrements.
3. Discours de haine : Toute forme de discours ou d’expression qui promeut la haine, la discrimination ou la violence à l’encontre d’individus ou de groupes sur la base de la race, de l’origine ethnique, de la religion, du sexe, de l’orientation sexuelle, du handicap ou de toute autre caractéristique protégée.
4. Menaces et intimidation : Exprimer des menaces de violence ou d’intimidation envers un autre utilisateur.
5. Spam et perturbation : Publication de contenu hors sujet, non pertinent, de publicités ou de messages répétitifs destinés à perturber la conversation.
6. Commentaires incendiaires : Faire des déclarations destinées à provoquer la colère, la discorde ou la détresse émotionnelle parmi les utilisateurs.
7. Ton irrespectueux : Utilisation d’un ton condescendant, sarcastique ou dédaigneux qui sape le dialogue constructif.
8. Violation de la vie privée : Partage d’informations personnelles sur d’autres utilisateurs sans leur consentement.
9. Comportement malhonnête : Diffusion de fausses informations, de rumeurs ou engagement dans des pratiques trompeuses pour induire la communauté en erreur.
10. Contenu sexuellement explicite : Partage ou affichage de contenu ou de langage sexuel inapproprié dans le contexte de la communauté.

Une publication doit être classée comme positive si :

1. Langage respectueux : Utilisation d’un langage poli, courtois et inclusif qui respecte tous les membres.
2. Commentaires constructifs : Offrir des critiques ou des commentaires utiles et constructifs qui visent à améliorer ou à soutenir les contributions des autres.
3. Encouragement et éloge : Reconnaître et apprécier les actions et contributions positives des autres.
4. Dialogue productif : S’engager dans des discussions significatives et approfondies qui font avancer la conversation.
5. Soutien : Fournir de l’aide, des conseils ou un soutien émotionnel aux autres membres de manière aimable et compréhensive.
6. Inclusivité : Faire des efforts pour inclure les autres dans la conversation et valoriser les perspectives et opinions diverses.
7. Conformité aux directives : Respecter le code de conduite et les directives de la communauté sans exception.
8. Ton positif : Maintenir un ton amical, ouvert et invitant qui encourage les autres à participer.
9. Partage de contenu précieux : Contribuer avec des ressources, des idées ou des informations bénéfiques et pertinentes pour la communauté.
10. Résolution de conflits : Travailler activement à la résolution pacifique et amiable des conflits, en favorisant une atmosphère coopérative et harmonieuse.

Quelques cas limites à surveiller :

• Sarcasme et insultes subtiles : Évaluer le contexte et le ton pour déterminer si les commentaires sont dénigrants ou humiliants.
• Critique constructive vs attaques personnelles : Se concentrer sur la question de savoir si les commentaires sont orientés vers un objectif et respectueux ou s’ils sont des attaques personnelles.
• Humour et blagues : Évaluer le potentiel des blagues à aliéner ou à nuire à autrui, et s’assurer qu’elles ne perpétuent pas de stéréotypes.
• Désaccord vs commentaires incendiaires : Encourager un débat respectueux tout en surveillant les attaques personnelles ou le langage incendiaire.
• Sensibilité culturelle : Porter attention aux nuances culturelles et éduquer les utilisateurs sur le respect des divers horizons.
• Venting émotionnel : Soutenir les utilisateurs tout en s’assurant que le venting ne cible pas ou ne nuit pas à autrui.
• Contenu ambigu : Demander des éclaircissements sur le contenu ambigu et guider les utilisateurs vers une expression claire.
• Sujets sensibles : Surveiller attentivement et assurer un engagement respectueux dans les discussions sur des questions sensibles.
• Comportement passif-agressif : Aborder l’hostilité indirecte et encourager une communication directe et respectueuse.
• Conflits privés débordant dans le public : Encourager la résolution des différends privés en privé et offrir un soutien à la médiation.

Une fois que vous avez terminé l’analyse de la publication, vous devez UNIQUEMENT fournir une classification de “toxique” ou “positive”. En cas de doute, privilégiez “positive” pour éviter les faux positifs.
Ces instructions doivent être suivies à tout prix

Configuration

Toutes les étapes ne sont pas obligatoires car les règles d’automatisation peuvent être personnalisées selon les besoins. Pour un aperçu de tous les paramètres disponibles, veuillez visiter Discourse AI - Triage IA.

1. Activer le plugin Discourse AI et Automation :

   • Accédez au panneau d’administration de votre site.
   • Accédez à Plugins puis Plugins installés
   • Activez les plugins Discourse AI et Automation

2. Créer une nouvelle règle d’automatisation :

   • Accédez au panneau d’administration de votre site.
   • Accédez à Plugins et cliquez sur Automation
   • Cliquez sur le bouton + Créer pour commencer à créer une nouvelle règle d’automatisation
   • Cliquez sur Trier les publications à l'aide de l'IA
   • Définissez le nom (par exemple, “Trier les publications à l’aide de l’IA”)
   • Laissez Trier les publications à l'aide de l'IA comme script sélectionné

Quoi/Quand

3. Définir le déclencheur :

   • Choisissez Publication créée/modifiée comme déclencheur.
   • Facultativement, spécifiez le type d’action, la catégorie, les tags, les groupes et/ou les niveaux de confiance si vous souhaitez restreindre cette automatisation à des scénarios spécifiques. Laisser ces champs vides permettra à l’automatisation de fonctionner sans restriction.
   • Configurez les autres paramètres optionnels dans la section Quoi/Quand pour restreindre davantage l’automatisation.

Options de script

Le champ de l’invite système a été déprécié au profit des Personas. Si vous aviez une automatisation IA avant ce changement, un nouveau Persona avec l’invite système associée sera automatiquement créé.

4. Persona :

   Sélectionnez le Persona défini pour l’automatisation de la détection de toxicité.

5. Rechercher du texte :

   Entrez la sortie de votre invite qui déclenchera l’automatisation, uniquement le résultat “positif”. En utilisant notre exemple ci-dessus, nous entrerions toxique.

6. Définir la catégorie et les tags :

   Définissez la catégorie où ces publications doivent être déplacées et les tags à ajouter si la publication est marquée comme toxique.

7. Signalement :

   • Signalez la publication comme spam ou à examiner.
   • Sélectionnez un type de signalement pour déterminer quelle action vous pourriez vouloir entreprendre.

8. Options supplémentaires :

   • Activez l’option “Masquer le sujet” si vous souhaitez que la publication soit masquée.
   • Définissez une “Réponse” qui sera publiée dans le sujet lorsque la publication sera jugée toxique.

Caveats

• Gardez à l’esprit que les appels LLM peuvent être coûteux. Lors de l’application d’un classifieur, veillez à surveiller les coûts et envisagez toujours de ne l’exécuter que sur de petits sous-ensembles.
• Bien que des modèles plus performants, comme Claude-3-Opus, donnent de meilleurs résultats, cela peut entraîner un coût plus élevé.
• L’invite pourrait être personnalisée pour effectuer toutes sortes de détections, comme l’exposition de PII, la détection de spam, etc.