Post e account non sempre ripristinati quando il flag da Discourse AI spam detection viene rifiutato

Bug
,
1

Priorità/Gravità:

Alta

Piattaforma

Sistema Operativo

Windows 11

Browser

Google Chrome 131.0.6778.265

Discourse

c1a46995a7b87982557eeba297d4460169c77bba

Discourse AI

61758ff8a6ea98e4502d0bdc9a8abe635aa35666

Descrizione:

Quando un post viene rilevato come spam dalla funzione di rilevamento spam del plugin Discourse AI, vengono intraprese le seguenti azioni:

  • Il post viene nascosto
  • L’account dell’autore del post viene silenziato
  • Viene sollevata una segnalazione

Lo staff del forum esamina quindi la segnalazione. Nel caso in cui il rilevamento dello spam sia stato un falso positivo, il membro dello staff farà clic sul pulsante “No, ripristina post” nell’interfaccia di revisione della segnalazione.

:bug: Il post e l’account non vengono sempre ripristinati quando il revisore della segnalazione fa clic sul pulsante “No, ripristina post”. Il post rimane nascosto e l’account dell’autore del post rimane ingiustamente silenziato.

Passaggi per la riproduzione:

Non so come riprodurre in modo affidabile il difetto, ma questi sono i passaggi eseguiti quando il difetto si verifica:

  1. Attendere che un post venga segnalato dal sistema di rilevamento spam di Discourse AI.
  2. Fare clic sul pulsante “No, ripristina post” nell’interfaccia di revisione della segnalazione.
  3. Controllare il post segnalato.
    :bug: Il post potrebbe essere ancora nascosto.
  4. Controllare la pagina di amministrazione dell’utente che ha creato il post segnalato.
    :bug: L’account dell’utente potrebbe essere ancora silenziato.

Contesto aggiuntivo:

Sembra accadere nelle seguenti condizioni:

  • Il post segnalato non è il primo post dell’argomento.
  • L’autore del post segnalato ha creato l’argomento.

Noto che se controllo le note utente degli utenti i cui account sono rimasti silenziati dopo il rifiuto della segnalazione a causa del bug, ci sono due note identiche con questo formato:

system 19m

@discourse_ai_spam ha silenziato questo account fino al 13 gennaio 3025. Motivo: Utente silenziato automaticamente da Discourse AI

Diversi minuti separano i timestamp delle due note. Entrambe le note sono associate allo stesso post, per il quale è stata sollevata una sola segnalazione.

Se controllo le note utente degli utenti i cui post sono stati segnalati, ma l’account è stato correttamente ripristinato dopo il rifiuto della segnalazione, vedo solo una di queste note.

Nel caso possa essere utile per le indagini, segnalo che questo sta accadendo sul forum all’indirizzo:

4 Mi Piace
4

Ho apportato una correzione qui:

Anche se è meno magico e punitivo nei confronti degli spammer rispetto al vecchio meccanismo, penso che la maggiore sicurezza e chiarezza ne valga la pena.

A parte questo, ho notato uno schema di falsi positivi su Arduino e adeguerò leggermente le istruzioni personalizzate per correggerlo (in attesa di deploy).

3 Mi Piace
5

Grazie mille per la correzione del bug e per il miglioramento delle nostre istruzioni sul rilevamento dello spam dell’IA!

Un tempo di risposta notevolmente rapido come al solito dal team di Discourse!

Saluti, Per

4 Mi Piace
6

Questo argomento è stato chiuso automaticamente dopo 4 giorni. Non sono più consentite nuove risposte.

8

Purtroppo ho scoperto che il problema si sta ancora verificando anche dopo che il nostro forum è stato aggiornato a una versione che contiene la correzione prospettica.

Ho scoperto che nell’ultima settimana ci sono stati tre casi in cui il post contrassegnato è rimasto nascosto e l’account dell’utente è rimasto silenziato anche se avevamo cliccato sul pulsante “No, ripristina post”:

Ciò si è verificato con:

  • Versione del plugin Discourse AI 4784e7fe43ff25c44df986a56f70c0c1c017a51a
  • Versione di Discourse d3a7b996992e721dd9caab60095414eaf1fc832f
2 Mi Piace
9

Grazie Pert, darò un’occhiata questa settimana per vedere cosa sta causando questo.

10

Sto indagando qui e ci sono un sacco di storie interessanti.

Nel caso di:

Posso vedere che l’utente è stato messo a tacere più volte dall’IA.

In qualche modo abbiamo visto la sequenza di:

  • Sistema contrassegnato
  • Segnalazione rifiutata
  • Utente modificato
  • Il sistema anti-spam l’ha rilevato di nuovo
  • Nessuna segnalazione è stata creata perché sarebbe stata una “Duplicata”, quindi il sistema non ha fatto nulla in modo trasparente.

Parlerò con il team dell’esperienza dello staff per vedere come possiamo risolvere correttamente la situazione.

Dobbiamo permettere all’IA di segnalare nuovamente le cose perché gli spammer possono essere molto subdoli, solo perché era buono all’inizio non significa che sia buono per sempre.

12

Pert,

Questo, a mio parere, sembra un caso limite piuttosto complesso, dacci un po’ di tempo per eseguire il debug e trovare una soluzione robusta al problema.

Il doppio flagging è una cosa molto complicata.

16

Grazie Sam.

Assolutamente. Non mi dispiace affatto ricevere segnalazioni aggiuntive per un post.

Sì, è fantastico che il sistema antispam rivaluti i post dopo una modifica!

Abbiamo avuto un ulteriore episodio del problema:

Se è utile avere ulteriori esempi del problema, fammelo sapere e continuerò a fornirli qui man mano che verranno scoperti (eseguo periodicamente una query di Data Explorer per verificare post nascosti e utenti silenziati a seguito del bug). Altrimenti, mi asterrò perché non voglio generare “rumore” qui se non sono necessari.

1 Mi Piace
17

Penso che siamo a posto, ora abbiamo una buona riproduzione, @martin ha questo nella sua lista e ci darà un’occhiata la prossima settimana.

Posso pensare a correzioni “naive” di tipo hatchet, ma preferirei capire se c’è qualcosa di un po’ più pulito che possiamo fare qui. (Ad esempio: se il flag è stato gestito, dissociare manualmente il flag dal post in modo da avere spazio per un altro flag)

Grazie mille per aver segnalato questo problema.

24

Ciao Pert,

Sono Martin, mi è stato assegnato di occuparmi di questo problema. Ho risolto il problema per cui l’IA tentava di segnalare nuovamente un post di spam già gestito, falliva e poi finiva comunque per silenziare l’utente e nascondere il post. Ho distribuito la correzione sul tuo sito.

La necessità più profonda per l’IA di segnalare nuovamente le cose come spam è ancora presente, ma almeno non vedrai più questo comportamento confuso in cui gli utenti vengono silenziati e i post vengono nascosti.

Per favore, fammi sapere se hai altri problemi.

3 Mi Piace
25

Grazie Martin!

1 Mi Piace
26

Questo argomento è stato chiuso automaticamente dopo 11 giorni. Non sono più consentite nuove risposte.