Les messages et comptes ne sont pas toujours restaurés lorsque le signalement par la détection de spams Discourse AI est rejeté

Bug
,
1

Priorité/Gravité :

Haute

Plateforme

Système d’exploitation

Windows 11

Navigateur

Google Chrome 131.0.6778.265

Discourse

c1a46995a7b87982557eeba297d4460169c77bba

Discourse AI

61758ff8a6ea98e4502d0bdc9a8abe635aa35666

Description :

Lorsqu’un message est détecté comme spam par la fonctionnalité de détection de spam du plugin Discourse AI, les actions suivantes sont effectuées :

  • Le message est masqué
  • Le compte de l’auteur du message est réduit au silence
  • Un signalement est émis

Le personnel du forum examine ensuite le signalement. Dans le cas où la détection de spam était un faux positif, le membre du personnel clique sur le bouton « Non, restaurer le message » dans l’interface d’examen des signalements.

:bug: Le message et le compte ne sont pas toujours restaurés lorsque le réviseur de signalement clique sur le bouton « Non, restaurer le message ». Le message reste masqué et le compte de l’auteur du message reste réduit au silence de manière injustifiée.

Étapes reproductibles :

Je ne sais pas comment reproduire le défaut de manière fiable, mais voici les étapes effectuées lorsque le défaut se produit :

  1. Attendre qu’un message soit signalé par le système de détection de spam Discourse AI.
  2. Cliquer sur le bouton « Non, restaurer le message » dans l’interface d’examen des signalements.
  3. Vérifier le message signalé.
    :bug: Le message peut toujours être masqué.
  4. Vérifier la page d’administration de l’utilisateur qui a créé le message signalé.
    :bug: Le compte de l’utilisateur peut toujours être réduit au silence.

Contexte supplémentaire :

Cela semble se produire dans les conditions suivantes :

  • Le message signalé n’est pas le premier message du sujet.
  • L’auteur du message signalé a créé le sujet.

Je remarque que si je consulte les notes utilisateur des utilisateurs dont les comptes sont restés réduits au silence après le rejet du signalement en raison du bug, il y a deux notes identiques de cette forme :

system il y a 19m

@discourse_ai_spam a réduit ce compte au silence jusqu’au 13 janvier 3025. Raison : L’utilisateur a été réduit au silence automatiquement par Discourse AI

Plusieurs minutes séparent les horodatages des deux notes. Les deux notes sont associées au même message, pour lequel un seul signalement a été émis.

Si je consulte les notes utilisateur des utilisateurs dont les messages ont été signalés, mais dont le compte a été correctement restauré après le rejet du signalement, je ne vois qu’une seule de ces notes.

Au cas où cela pourrait être utile pour l’enquête, je mentionnerai que cela se produit sur le forum à l’adresse :

4 « J'aime »
4

J’ai apporté une correction ici :

Même si c’est moins magique et moins punitif envers les spammeurs que l’ancien mécanisme, je pense que la sécurité et la clarté supplémentaires en valent la peine.

Par ailleurs, j’ai remarqué une tendance aux faux positifs sur Arduino et j’ajusterai un peu les instructions personnalisées pour corriger cela (en attente de déploiement).

3 « J'aime »
5

Merci beaucoup pour la correction du bug et pour l’amélioration de nos instructions de détection de spam par IA !

Un temps de réponse remarquable comme d’habitude de la part de l’équipe Discourse !

Cordialement, Per

4 « J'aime »
6

Ce sujet a été automatiquement fermé après 4 jours. Les nouvelles réponses ne sont plus autorisées.

8

Malheureusement, j’ai découvert que le problème persiste même après la mise à jour de notre forum vers une version contenant la correction prospective.

J’ai découvert qu’au cours de la semaine dernière, il y a eu trois cas où le message signalé est resté caché et le compte de l’utilisateur est resté silencieux, même après avoir cliqué sur le bouton « Non, restaurer le message » :

Cela s’est produit avec :

  • Version du plugin Discourse AI 4784e7fe43ff25c44df986a56f70c0c1c017a51a
  • Version de Discourse d3a7b996992e721dd9caab60095414eaf1fc832f
2 « J'aime »
9

Merci Pert, je vais regarder cette semaine pour voir ce qui cause cela.

10

En enquêtant ici, il y a un tas d’histoires intéressantes.

Dans le cas de :

Je peux voir que l’utilisateur a été réduit au silence plusieurs fois par l’IA.

D’une manière ou d’une autre, nous avons vu la séquence de :

  • Système signalé
  • Signal rejeté
  • Utilisateur modifié
  • Le système anti-spam l’a détecté à nouveau
  • Aucun signal n’a été créé car ce serait un « doublon », donc le système n’a rien fait en toute transparence.

Je vais discuter avec l’équipe de l’expérience du personnel pour voir comment nous pouvons résoudre cela correctement.

Nous devons permettre à l’IA de signaler à nouveau les choses car les spammeurs peuvent être très sournois, ce n’est pas parce que c’était bien au début que c’est bien pour toujours.

12

Pert,

Cela me semble être un cas limite plutôt complexe, donnez-nous un peu de temps pour déboguer et trouver une solution robuste au problème.

Le double marquage est une chose très compliquée.

16

Merci Sam.

Absolument. Cela ne me dérange pas du tout de recevoir des signalements supplémentaires pour un message.

Oui, c’est formidable que le système anti-spam réévalue les messages après une modification !

Nous avons eu un autre cas du problème :

S’il est utile d’avoir des exemples supplémentaires du problème, faites-le moi savoir et je continuerai à les fournir ici au fur et à mesure qu’ils seront découverts (j’exécute périodiquement une requête Data Explorer pour vérifier les messages cachés et les utilisateurs silencieux résultant du bug). Sinon, je m’abstiendrai car je ne veux pas générer de “bruit” ici s’ils ne sont pas nécessaires.

1 « J'aime »
17

Je pense que nous sommes bons, nous avons maintenant une excellente reproductibilité, @martin a cela sur sa liste et y jettera un coup d’œil la semaine prochaine.

Je peux penser à des corrections de type “naïf” de type hachette, mais je préfère déterminer s’il y a quelque chose d’un peu plus propre que nous pouvons faire ici. (Par exemple : si le drapeau a été traité, dissociez manuellement le drapeau du message afin d’avoir de la place pour un autre drapeau)

Merci beaucoup d’avoir signalé cela.

24

Salut Pert,

Je suis Martin, on m’a assigné à ce problème. J’ai maintenant corrigé le problème où l’IA tentait de marquer à nouveau un message de spam déjà traité, échouait, puis finissait quand même par réduire l’utilisateur au silence et masquer le message. J’ai déployé la correction sur votre site.

Le besoin plus profond pour l’IA de marquer à nouveau des éléments comme spam est toujours présent, mais au moins vous ne verrez plus ce comportement déroutant où les utilisateurs sont réduits au silence et les messages sont masqués.

Merci de me faire savoir si vous avez d’autres problèmes.

3 « J'aime »
25

Merci Martin !

1 « J'aime »
26

Ce sujet a été automatiquement fermé après 11 jours. Les nouvelles réponses ne sont plus autorisées.