Como vocês lidam com usuários que usam IA para responder automaticamente a tópicos e assim ganhar nível de confiança?

Esta pergunta é para todos os proprietários e moderadores de fóruns: o que vocês acham de usuários que utilizam IA para navegar automaticamente pelo fórum, ler os últimos comentários e fazer com que a IA escreva e publique uma resposta no tópico? Eles fazem isso para não precisarem participar ativamente do fórum, pois desejam alcançar um nível de confiança mais alto para acessar seções restritas do fórum.

Vocês fiscalizam ativamente esses usuários? Como vocês identificam se algo foi escrito por IA? Vocês fazem vista grossa?

3 curtidas

Isso pode ficar ainda mais desonesto. Já vi posts em que uma conta fantasma cria um novo tópico com conteúdo gerado por IA e, pouco tempo depois, um novo usuário (presumivelmente controlado pelo mesmo ator) responde concordando e elogiando o autor do tópico.

4 curtidas

Não vi esse comportamento, mas seria um banimento da minha parte. Se fossem membros em dia com suas obrigações, seria apenas um aviso, mas isso soa como se nunca tivessem contribuído.

Acho que ajuda ter uma política explícita sobre contribuições de LLMs.

6 curtidas

bem, como você deve lidar com essa questão? Minha pergunta seria: quanto você valoriza seu conteúdo restrito por nível de confiança e quanto valoriza o acesso a esse conteúdo?

Se for conteúdo que você não quer que as pessoas “joguem o sistema” para obter acesso, eu tentaria descobrir como impedir esse tipo de comportamento.

A razão é que esse comportamento é muito comum. Veja o exemplo de Robert:

ah… isso acontece aqui… todos os dias

De qualquer forma

muitas vezes, é bastante óbvio para um moderador humano apenas lendo, mas isso leva tempo do moderador. Alguns administradores estão usando IA para pegar a IA (engraçado, né?)

veja uma discussão semelhante aqui:

4 curtidas

Se você conseguir isolar os user-agents utilizados, ou se eles respeitarem padrões de controle, você pode considerar bloqueá-los, aplicar limitação de taxa (rate limiting) ou usar o llms.txt.

Isso só funciona se as automações se comportarem como cavalheiros.

Se regiões específicas forem um problema, também é possível usar geo-bloqueio.

Eu uso um agente de detecção de IA para triar novos usuários ou aqueles com baixo nível de confiança. Ele se mostrou cerca de 95%+ preciso.

Depende de quão espertos são os atores mal-intencionados, mas com um pouco de trabalho e testes, você pode ser mais esperto :wink:

4 curtidas

Também já vimos isso com bastante frequência. Claro que não posso afirmar sobre as motivações, mas, pela minha experiência, isso é muito menos interessante do que tentar “ganhar confiança”. Acho que é apenas spam.

O spam agora também inclui conjuntos de dados para treinamento de IA e GEO — onde é vantajoso para eles apenas mencionar um produto, serviço ou empresa por toda a internet.

Às vezes, o objetivo é acumular confiança suficiente para incluir um link, mas suspeito que os links sejam secundários agora.

Até agora, as pistas têm sido bastante óbvias — minha “opinião sincera” é que as “costuras estruturais” ficam claramente visíveis. Coloco o tópico em espera e envio uma DM simpática (mas padronizada) ao usuário, dando as boas-vindas e pedindo para me responder para reativá-lo.

Ninguém nunca me respondeu.

4 curtidas

Como outra pessoa sugeriu, parece que você pode precisar reavaliar o valor do seu conteúdo restrito e o valor relativo das contribuições dos usuários para o fórum. As pessoas que não têm acesso ao conteúdo restrito possuem o conhecimento ou as habilidades necessárias para contribuir de forma significativa? Talvez você devesse alterar os requisitos para atingir um novo nível de confiança de modo que postar conteúdo inútil não ajude, e tornar isso claro de alguma forma para que as pessoas não sejam tentadas a fazer isso.

Antes da IA, os novos usuários eram capazes de contribuir de forma significativa e atingir o próximo nível de confiança?

4 curtidas

Surpreendentemente ou não, usei o assistente de IA em posts aqui para determinar se um post era gerado por IA (em parte para testar, em parte por diversão), depois de eu mesmo determinar se realmente era. E olha! Ele é surpreendentemente preciso em determinar se foi escrito por IA ou por um humano.


Se fosse óbvio que o usuário estava usando IA para literalmente burlar o fórum, eu sugeriria um ou dois avisos, seguidos de uma suspensão de talvez alguns dias.

1 curtida

Eu voltaria aos princípios fundamentais: o conteúdo que eles estão produzindo é valioso para a comunidade em geral? Se for, isso importa como foi criado? Se não for, lide com esse problema. Se alguém está usando contas falsas e criando uma grande quantidade de lixo, as consequências devem ser as mesmas, independentemente de ser IA ou humano, não é?

6 curtidas

Nossa comunidade está em prontidão e eu pensei bastante sobre isso, porque nos tempos em que vivemos, quase ninguém respeita políticas ou princípios. Por isso, implementei um sistema de nível de confiança / carma personalizado, no qual os usuários precisam realizar missões específicas (humanas) para ganhar acesso.

Começaremos com um nível baixo, mas se eu observar o tipo de comportamento que você mencionou aqui, vou aumentá-lo para tornar o processo tedioso, chato ou quase impossível de automatizar e/ou realizar usando LLMs.

Nossa comunidade é baseada na interação humana; saímos do Discord porque seu sistema centralizado não está alinhado com nossa filosofia. Também espero que, um dia, vejamos câmeras ao vivo geradas por IA, então preciso planejar o que fazer com elas.

Eu moderei e gerenciei alguns fóruns ao longo da minha vida na internet e aprendi da pior forma que ações coercitivas ou punitivas geralmente têm efeitos contrários. Elas precisam ser o último recurso, sempre.

Sabe, o ditado “não alimente o troll” se aplica a qualquer lugar.

3 curtidas

Sinceramente, estou preocupado com a possibilidade de o sistema de Trust & Safety (TL) estar começando a falhar, pois ele é fundamental para a nossa defesa em camadas. Não estou vendo isso acontecer aqui na meta — você personalizou a detecção de spam por IA ou as configurações do TL?

3 curtidas

Sendo honesto e deixando meu lado <fã de filmes dos anos 90> continuar escrevendo, estou reativando uma comunidade de nicho da América Latina que será aberta ao mundo, porque acredito que os fóruns precisam sobreviver e, em alguns anos, nós — humanos — seremos apenas 0,5 a 1% da população mundial.

O Digg desapareceu, o Stack Overflow, também. O Reddit não é mais movido por humanos. Eu estive lá e saí quando vi o monstro real se aproximando. Limites em APIs, banimento de clientes alternativos, cookies por toda parte, captchas que pedem a um humano para ‘provar que não é um robô’, impressões digitais em cada interação, e assim por diante.

Reabrir nossa comunidade nos exporá a bots de spam, mas espero mais ataques à nossa infraestrutura, porque eu (nós) gosto de sempre hospedar por conta própria, então escolhi esquecer tudo sobre SEO, limitar tudo o que posso, manter as interações entre ‘nós’, aprendi a criptografar, distribuir em redes descentralizadas e estar no Tor, onde o Discourse pode ser usado através do Dumbcourse.

Essa é a última linha de defesa e não é necessária hoje, mas meu lado distópico (talvez lunático para quem ouve ou lê) está sempre em espera, sabe. Vemos os filmes: agentes, aranhas, controle total e a ilusão sobre quase todos.

Voltando ao Discourse, não espero abuso de spam porque estamos fazendo algo incomum e fora do que a maioria segue, mas espero que muitos usuários tentem explorar a IA em suas interações para se parecerem melhores do que realmente são. Não só isso é impossível, como também é a pior decisão que alguém pode tomar se quer melhorar.

Então, passaremos de uma multidão emocional seguindo um líder para um grupo confiável de moderadores mantendo os agentes de fora. Acho que o sistema de níveis de confiança do Discourse era ótimo, mas não é encorajado pelo mundo como ele é hoje; as pessoas são treinadas para obter tudo instantaneamente e receber quase nada de valor em troca.

Minha decisão de criar um sistema de estilo antigo, em vez do comum de emblemas/confiança, cortaria todo o ruído e acho que escolhi a melhor plataforma para um fórum liderado pela melhor equipe do mundo. Veremos para onde tudo vai.

Li seu artigo e o sobre mitose ou fragmentação tóxica. É sempre belo ler pessoas escrevendo sobre o que realmente vivem e possuem. Fico surpreendido e feliz por você conhecer a teoria da ‘internet morta’. É assim agora.

2 curtidas

Re spam. Há mais ou menos 2 anos, migramos para o Discourse a partir de uma plataforma antiga e em declínio que era péssima em todos os aspectos. Era impossível manter o spam sob controle.

O Discourse freou esse problema; quando a detecção por IA foi ativada, foi uma verdadeira revolução.

Não me lembro de nenhum tópico que tenha passado despercebido. Houve alguns falsos positivos para novos membros, mas nada grave, e esse custo é insignificante comparado ao que era antes.

Conseguimos bloquear alguns poucos países que estavam criando uma enorme quantidade de contas, o que reduziu o volume a um nível que não é mais um fardo nem merece preocupação.

O que mais me agrada no Discourse é a flexibilidade para lidar com problemas, a evolução constante e a disposição da equipe para ajudar. É uma mudança refrescante.

3 curtidas

Eu não tenho toda a experiência em construção na Internet que a comunidade geral da Meta possui, porque eu sempre estive em lugares selecionados/pequenos/nicho. Eu estava há cerca de uma década trabalhando nas fundações de sistemas peer-to-peer, e também só comecei a entender inglês há alguns anos, então eu estava quase fora do grande cenário.

Enquanto isso, sofri um ataque de spam no Ghost CMS e precisei desabilitar o registro, pois o sistema não estava preparado para lidar com isso. Foi insano: o servidor SMTP usou em um mês o mesmo volume de recursos que costumava usar em dois anos.

Manter comunidades selecionadas permite a revisão humana das contas; acho que é o único método confiável para manter rastreadores/bots afastados. Hoje em dia, não existe sistema que eles não consigam superar; a capacidade de computação que eles gerenciam está evoluindo e ficando mais forte a cada dia.

Boas ferramentas sempre ajudarão, mas a defesa real está em nós.

Acho que importa. Em alguns casos, tivemos spammers fazendo perguntas provocativas geradas por IA, para as quais nossa comunidade coletivamente gastou um bom tempo… apenas para o “OP” voltar e postar um link de spam ou editar a pergunta retroativamente para incluir um. Eles não são obviamente trolls antes da virada.

As pessoas só vão se queimar assim algumas vezes. Isso destrói a boa vontade da comunidade.

3 curtidas

Eu diria que seu fórum não é o único alvo e, com isso em mente, obviamente a entidade que está fazendo isso provavelmente não quer gastar tempo criando o tópico original. Assim, uma postagem gerada por IA economiza tempo no esquema geral. Portanto, a vigilância em relação a postagens autorizadas por IA parece ser um método possivelmente valioso para reduzir ataques de spam, ao que parece.