Posts e conta nem sempre são restaurados quando a denúncia do filtro de detecção de spam Discourse AI é rejeitada

Bug
,
1

Prioridade/Gravidade:

Alta

Plataforma:

Sistema Operacional:

Windows 11

Navegador:

Google Chrome 131.0.6778.265

Discourse:

c1a46995a7b87982557eeba297d4460169c77bba

Discourse AI:

61758ff8a6ea98e4502d0bdc9a8abe635aa35666

Descrição:

Quando uma postagem é detectada como spam pelo recurso de detecção de spam do plugin Discourse AI, as seguintes ações são tomadas:

  • A postagem é ocultada
  • A conta do autor da postagem é silenciada
  • Uma bandeira é levantada

A equipe do fórum revisa a bandeira. No caso em que a detecção de spam foi um falso positivo, o membro da equipe clicará no botão “Não, restaurar postagem” na interface de revisão da bandeira.

:bug: A postagem e a conta nem sempre são restauradas quando o revisor da bandeira clica no botão “Não, restaurar postagem”. A postagem permanece oculta e a conta do autor da postagem permanece silenciada injustamente.

Passos para reproduzir:

Não sei como reproduzir a falha de forma confiável, mas estes são os passos realizados quando a falha ocorre:

  1. Aguarde uma postagem ser sinalizada pelo sistema de detecção de spam do Discourse AI.
  2. Clique no botão “Não, restaurar postagem” na interface de revisão da bandeira.
  3. Verifique a postagem sinalizada.
    :bug: A postagem pode permanecer oculta.
  4. Verifique a página de administração do usuário que criou a postagem sinalizada.
    :bug: A conta do usuário pode permanecer silenciada.

Informações adicionais:

Parece acontecer nas seguintes condições:

  • A postagem sinalizada não é a primeira postagem do tópico.
  • O autor da postagem sinalizada criou o tópico.

Notei que se eu verificar as notas do usuário dos usuários cujas contas permaneceram silenciadas após a rejeição da bandeira devido ao bug, existem duas notas idênticas com este formato:

system 19m

@discourse_ai_spam silenciou esta conta até 13 de janeiro de 3025. Motivo: Usuário silenciado automaticamente pelo Discourse AI

Vários minutos separam os carimbos de data/hora das duas notas. Ambas as notas estão associadas à mesma postagem, para a qual apenas uma bandeira foi levantada.

Se eu verificar as notas do usuário de usuários cujas postagens foram sinalizadas, mas a conta foi restaurada corretamente após a rejeição da bandeira, vejo apenas uma dessas notas.

Caso possa ser útil para investigação, mencionarei que isso está acontecendo no fórum em:

4 curtidas
4

Fiz uma correção para isso aqui:

Embora seja menos mágico e punitivo para spammers do que o antigo mecanismo, acho que a segurança e a clareza extras valem a pena.

De passagem, notei um padrão de falsos positivos no Arduino e ajustarei as instruções personalizadas um pouco para corrigi-lo (aguardando implantação)

3 curtidas
5

Muito obrigado pela correção do bug e pela melhoria nas nossas instruções de detecção de spam de IA!

Um tempo de resposta notavelmente rápido, como sempre, da equipe do Discourse!

Atenciosamente, Per

4 curtidas
6

Este tópico foi fechado automaticamente após 4 dias. Novas respostas não são mais permitidas.

8

Infelizmente descobri que o problema ainda está ocorrendo mesmo após a atualização do nosso fórum para uma versão que contém a correção prospectiva.

Descobri que na última semana, houve três casos em que a postagem sinalizada permaneceu oculta e a conta do usuário permaneceu silenciada, mesmo depois de clicarmos no botão “Não, restaurar postagem”:

Isso ocorreu com:

  • Versão do plugin Discourse AI 4784e7fe43ff25c44df986a56f70c0c1c017a51a
  • Versão do Discourse d3a7b996992e721dd9caab60095414eaf1fc832f
2 curtidas
9

Obrigado Pert, darei uma olhada esta semana e verei o que está causando isso.

10

Investigando aqui, há uma série de histórias interessantes.

No caso de:

Posso ver que o usuário foi silenciado várias vezes pela IA.

De alguma forma, vimos a sequência de:

  • Sistema sinalizado
  • Sinalização rejeitada
  • Usuário editou
  • Sistema de spam pegou novamente
  • Nenhuma sinalização foi criada porque seria uma “Duplicata”, então o sistema transparentemente não fez nada.

Vou conversar com a equipe de experiência de funcionários para ver como podemos resolver isso adequadamente.

Precisamos permitir que a IA sinalize novamente as coisas, pois os spammers podem ser muito sorrateiros, só porque foi bom para começar não significa que será bom para sempre.

12

Pert,

Isso, para mim, parece um caso extremo bastante complexo. Dê-nos um tempo para depurar aqui e encontrar uma solução robusta para o problema.

A marcação dupla é algo muito complicado.

16

Obrigado, Sam.

Com certeza. Eu não me importo de receber sinalizações adicionais para uma postagem.

Sim, é ótimo que o sistema de spam reavalie as postagens após uma edição!

Tivemos uma ocorrência adicional do problema:

Se for útil ter exemplos adicionais do problema, é só me avisar e continuarei a fornecê-los aqui conforme forem descobertos (eu periodicamente executo uma consulta no Data Explorer para verificar postagens ocultas e usuários silenciados resultantes do bug). Caso contrário, me absterei, pois não quero gerar “ruído” aqui se não forem necessários.

1 curtida
17

Acho que estamos bem, temos uma ótima repro agora, o @martin tem isso em sua lista e dará uma olhada na próxima semana.

Posso pensar em correções do tipo “ingênuas” de machado, mas prefiro descobrir se há algo um pouco mais limpo que podemos fazer aqui. (Por exemplo: Se a flag foi tratada, desassocie manualmente a flag da postagem para que tenhamos espaço para outra flag)

Muito obrigado por relatar isso.

24

Olá Pert,

Eu sou o Martin, fui designado para analisar este problema. Corrigi o problema em que a IA tentava sinalizar novamente uma postagem de spam já tratada, falhava e, ainda assim, acabava silenciando o usuário e ocultando a postagem. Implantei a correção em seu site.

A necessidade mais profunda de a IA sinalizar novamente as coisas como spam ainda está presente, mas pelo menos você não verá mais esse comportamento confuso em que os usuários são silenciados e as postagens são ocultadas.

Por favor, me avise se tiver mais problemas.

3 curtidas
25

Obrigado, Martin!

1 curtida
26

Este tópico foi fechado automaticamente após 11 dias. Novas respostas não são mais permitidas.