Um fórum que ajudo tem experimentado uma onda de registros de contas de spam nos últimos meses. Quase certamente são bots de IA, pois parecem ser capazes de preencher um formulário de registro (basicamente, marcar caixas), resolver um hCaptcha e lidar com o e-mail de verificação, até mesmo informações de perfil de usuário. Geralmente podemos adivinhar quais registros são falsos com base em alguns fatores (por exemplo, tempo de leitura de artigo zero, algumas coisas sutis sobre nomes/endereços de e-mail, informações de usuário obviamente falsas), mas não é fácil (por exemplo, eles são frequentemente endereços de e-mail legítimos do Gmail). Esse processo, no entanto, é insustentável - às vezes tivemos 10 falsos por dia, e é muito fácil cometer um erro dada a nossa capacidade limitada de triar esses.
Adicionar captchas diminuiu o número de registros falsos, mas ainda temos um grande acúmulo de usuários que precisam ser aprovados, o que significa que muitas vezes leva uma ou duas semanas para que novos usuários possam participar. Consideramos questionários baseados em texto para novos usuários, mas a realidade é que não temos capacidade para ler um monte de perguntas e adivinhar se elas são geradas por IA ou não (e: esse problema só ficará mais difícil).
Uma opção é simplesmente permitir que esses usuários participem e, em seguida, sinalizá-los se postarem algo obviamente spam? Acho que estamos hesitantes em abrir o portão para isso, pois simplesmente desloca o processo de um lugar (registro) para outro (posts sinalizados) e o gato não pode ser colocado de volta na caixa: cem usuários de IA latentes que começam a postar lentamente ao longo de alguns meses poderiam facilmente arruinar completamente o fórum.
Alguém tem estratégias para ajudar a lidar com isso? Somos relativamente pequenos, então não consigo imaginar que sejamos os únicos a experimentá-lo…
Em relação às contas de usuário de IA, você pode detalhar o que causa “danos” se os usuários nunca postarem?
Fizemos uma alteração há um mês, onde suprimimos perfis de usuários anônimos e de baixa confiança até que um usuário realmente poste, para que o spam fique oculto.
Uma abordagem interessante, na minha opinião, se o volume for realmente alto, seria descartar contas após 30 dias se elas não postarem; elas precisam se revelar ou serão descartadas.
A detecção de spam por IA tem sido espetacularmente bem-sucedida em todos os fóruns onde a ativamos; você pode usá-la em seu fórum com alguns modelos gratuitos como o nível gratuito do Gemini. Nós damos aos nossos clientes acesso ao nosso modelo, mas isso não está amplamente disponível para auto-hospedeiros.
Um pequeno problema que vejo com o Discourse… é a ignorância da capacidade de usar o CloudFlare Turnstile nativamente nele. É honestamente uma das melhores soluções de Captcha que encontrei, e eu executo um script de fórum pago que o utiliza e recebe muito pouco spam, mesmo com muitas novas inscrições de usuários. A maioria dos lixos é capturada pelo Turnstile.
Realmente não vejo por que o Discourse, depois de todo esse tempo, ainda não habilitou as ofertas que existem no núcleo.
Quando estávamos sendo inundados, as contas de IA superavam as contas de novos usuários reais em 10 para 1, o que tornava algumas coisas de administração de fóruns muito impraticáveis. Havia um medo em nível meta por parte dos moderadores de que ter um fórum onde uma grande porcentagem ou maioria dos usuários fossem IAs/spambots pudesse ter o potencial de danos reais no futuro, mesmo que estivessem apenas “espreitando” no momento. Por exemplo, se daqui a um ano centenas de usuários falsos começassem a fazer postagens plausíveis, mas inúteis, imaginamos que isso poderia facilmente sobrecarregar nossa capacidade de acompanhar e tornaria todo o fórum bastante inútil
Está um pouco melhor agora em relação a novos participantes, mas acho que é preferência de todos não ter esse problema de “espreitadores” se pudermos evitá-lo. Nosso fórum já foi agressivamente raspado para treinamento de IA (é uma área de nicho, então, pelo menos em versões mais antigas do GPT, era possível fazer o GPT repetir citações quase diretas de postagens do fórum se você fizesse a pergunta certa), então todos estão um pouco amargurados com isso.