Publicaciones y cuentas no siempre se restauran cuando se rechaza la bandera del sistema de detección de spam de Discourse AI

Error
,
1

Prioridad/Severidad:

Alta

Plataforma

Sistema Operativo

Windows 11

Navegador

Google Chrome 131.0.6778.265

Discourse

c1a46995a7b87982557eeba297d4460169c77bba

Discourse AI

61758ff8a6ea98e4502d0bdc9a8abe635aa35666

Descripción:

Cuando una publicación es detectada como spam por la función de detección de spam del plugin Discourse AI, se toman las siguientes acciones:

  • La publicación se oculta
  • Se silencia la cuenta del autor de la publicación
  • Se eleva una señalización

El personal del foro revisa la señalización. En el caso de que la detección de spam haya sido un falso positivo, el miembro del personal hará clic en el botón “No, restaurar publicación” en la interfaz de revisión de señalizaciones.

:bug: La publicación y la cuenta no siempre se restauran cuando el revisor de señalizaciones hace clic en el botón “No, restaurar publicación”. La publicación permanece oculta y la cuenta del autor de la publicación permanece silenciada injustamente.

Pasos para reproducir:

No sé cómo reproducir el error de forma fiable, pero estos son los pasos que se realizan cuando ocurre el error:

  1. Esperar a que una publicación sea señalada por el sistema de detección de spam de Discourse AI.
  2. Hacer clic en el botón “No, restaurar publicación” en la interfaz de revisión de señalizaciones.
  3. Comprobar la publicación señalada.
    :bug: La publicación podría seguir oculta.
  4. Comprobar la página de administración del usuario que creó la publicación señalada.
    :bug: La cuenta del usuario podría seguir silenciada.

Contexto adicional

Parece ocurrir en las siguientes condiciones:

  • La publicación señalada no es la primera publicación del tema.
  • El autor de la publicación señalada creó el tema.

Observo que si reviso las notas del usuario de los usuarios cuyas cuentas permanecieron silenciadas después del rechazo de la señalización debido al error, hay dos notas idénticas con esta forma:

system 19m

@discourse_ai_spam silenced this account until January 13, 3025. Reason: User silenced automatically by Discourse AI

Varios minutos separan las marcas de tiempo de las dos notas. Ambas notas están asociadas con la misma publicación, para la cual solo se planteó una señalización.

Si reviso las notas del usuario de los usuarios cuyas publicaciones fueron señaladas, pero la cuenta se restauró correctamente después del rechazo de la señalización, solo veo una de estas notas.

En caso de que sea útil para la investigación, mencionaré que esto está sucediendo en el foro en:

4 Me gusta
4

Hice una corrección aquí:

Aunque es menos mágico y castiga a los spammers que el antiguo mecanismo, creo que la seguridad y claridad adicionales valen la pena.

Aparte, noté un patrón de falsos positivos en Arduino y ajustaré las instrucciones personalizadas un poco para corregirlo (pendiente de implementación).

3 Me gusta
5

¡Muchas gracias por la corrección del error y por la mejora en nuestras instrucciones de detección de spam de IA!

¡Un tiempo de respuesta notablemente rápido como de costumbre por parte del equipo de Discourse!

Saludos, Per

4 Me gusta
6

Este tema se cerró automáticamente después de 4 días. Ya no se permiten nuevas respuestas.

8

Lamentablemente descubrí que el problema sigue ocurriendo incluso después de que nuestro foro se actualizara a una versión que contiene la solución prospectiva.

Descubrí que en la última semana, hubo tres casos en los que la publicación marcada permaneció oculta y la cuenta del usuario permaneció silenciada a pesar de que habíamos hecho clic en el botón “No, restaurar publicación”:

Esto ocurrió con:

  • Versión del plugin Discourse AI 4784e7fe43ff25c44df986a56f70c0c1c017a51a
  • Versión de Discourse d3a7b996992e721dd9caab60095414eaf1fc832f
2 Me gusta
9

Gracias Pert, le echaré un vistazo esta semana y veré qué está causando esto.

10

Investigando aquí hay un montón de historias interesantes.

En el caso de:

Puedo ver que el usuario fue silenciado varias veces por la IA.

De alguna manera vimos la secuencia de:

  • El sistema marcó
  • Marca rechazada
  • Usuario editó
  • El sistema de spam lo detectó de nuevo
  • No se creó ninguna marca porque sería un “Duplicado”, por lo que el sistema no hizo nada de forma transparente.

Permítanme hablar con el equipo de experiencia del personal sobre esto para ver cómo podemos resolverlo adecuadamente.

Necesitamos permitir que la IA vuelva a marcar cosas porque los spammers pueden ser muy sigilosos, el hecho de que fuera bueno al principio no significa que sea bueno para siempre.

12

Pert,

Esto, para mí, parece un caso límite bastante complejo, danos un poco de tiempo para depurar y encontrar una solución sólida al problema.

El doble marcado es algo muy complicado.

16

Gracias Sam.

Absolutamente. No me importa recibir marcas adicionales para una publicación.

¡Sí, es genial que el sistema de spam reevalúe las publicaciones después de una edición!

Tuvimos otra ocurrencia del problema:

Si es útil tener ejemplos adicionales del problema, solo házmelo saber y continuaré proporcionándolos aquí a medida que se descubran (ejecuto periódicamente una consulta del Explorador de datos para verificar publicaciones ocultas y usuarios silenciados como resultado del error). De lo contrario, me abstendré ya que no quiero generar “ruido” aquí si no son necesarios.

1 me gusta
17

Creo que estamos bien, ahora tenemos una gran reproducibilidad, @martin tiene esto en su lista y lo revisará la próxima semana.

Se me ocurren arreglos “ingenuos” de tipo hacha, pero prefiero averiguar si hay algo un poco más limpio que podamos hacer aquí. (Por ejemplo: si la bandera se manejó, desasociar manualmente la bandera de la publicación para tener espacio para otra bandera)

Muchas gracias por informar sobre esto.

24

Hola Pert,

Soy Martin, me asignaron para revisar este problema. Ya he corregido el problema por el cual la IA intentaba volver a marcar una publicación de spam ya manejada, fallaba y luego silenciaba al usuario y ocultaba la publicación. Implementé la corrección en tu sitio.

La necesidad más profunda de que la IA vuelva a marcar las cosas como spam todavía está presente, pero al menos ya no verás este comportamiento confuso en el que los usuarios son silenciados y las publicaciones se ocultan.

Por favor, házmelo saber si tienes algún otro problema.

3 Me gusta
25

¡Gracias, Martin!

1 me gusta
26

Este tema se cerró automáticamente después de 11 días. Ya no se permiten nuevas respuestas.