J’ai configuré l’automatisation « Trier les publications à l’aide de l’IA » pour la modération de contenu sur ma plateforme (madeira.community — un annuaire d’entreprises multilingue pour l’île de Madère).
L’automatisation fonctionne parfaitement pour les publications publiques. Cependant, j’ai activé l’option « Inclure les messages personnels » et constaté que les messages privés (MP) entre utilisateurs réguliers ne sont pas analysés du tout.
Mon inquiétude est réelle : des acteurs malveillants peuvent utiliser les messages privés pour mener des activités illégales — trafic de drogue, partage de données financières volées, emprise sur des mineurs — tout en contournant complètement la modération par IA qui fonctionne bien sur le contenu public.
Mes questions :
L’option « Inclure les messages personnels » prend-elle réellement en charge l’analyse des MP entre deux utilisateurs réguliers (non membres du personnel) ?
Si non — s’agit-il d’un choix de conception ou d’une limitation connue ?
Existe-t-il une méthode prise en charge pour appliquer le triage par IA aux messages privés entre utilisateurs réguliers ?
J’ai trouvé une référence à un commit « Ignorer l’analyse des MP dans le triage par LLM par défaut », ce qui suggère que cela pourrait être intentionnel. Mais l’option dans l’interface utilisateur existe — je suis donc confus quant à ce qu’elle fait réellement.
« Je l’ai testé en envoyant un message privé entre deux utilisateurs ordinaires (testUser à darinauser, tous deux non-membres du personnel) contenant un contenu clairement illégal : ‘cocaïne. armes. grenades’ et ‘pornographie. saleté. débauche. violence’. Les messages ont été livrés et n’ont pas été signalés. La file d’attente de révision est restée vide. Le même contenu dans des publications publiques a été signalé immédiatement. »
Je peux confirmer qu’ils n’ont pas été traités : les identifiants de sujet de ces messages privés (210, 211, 212 et 214) ainsi que les identifiants de publication ne figurent pas dans la table ai_api_audit_logs.
Je pense que « Type de sujet » « Tous les sujets » signifie tous les sujets qui ne sont pas des messages privés.
Pourriez-vous essayer de laisser ce champ vide ?
"Ça a fonctionné ! Merci Richard. Laisser le type de sujet vide a résolu le problème — les messages privés entre utilisateurs réguliers sont désormais analysés.
Je prévois maintenant de configurer deux automatisations distinctes :
Une pour les publications publiques avec un prompt de modération strict
Une pour les messages privés avec un prompt plus léger — signalant uniquement les violations les plus graves (CSAM, trafic de drogue, armes)
De cette façon, le contenu public bénéficiera d’une modération complète, tandis que les conversations privées auront des limites plus adaptées."
La partie « Tous les sujets » m’a fait penser que tout le contenu serait examiné.
Je n’avais même pas envisagé que laisser le champ vide entraînerait l’examen de tout le contenu.
Je pense qu’un seul menu déroulant est assez limité et que trois options distinctes seraient meilleures et certainement plus claires pour l’utilisateur.
Sujets publics : oui/non
Sujets non publics : oui/non
Messages privés : oui/non
Il existe 8 situations possibles, mais le menu déroulant n’en couvre que quatre.
