Melhores práticas para lidar com usuários de Spam e posts de resposta GPT

Contexto: Iniciamos uma comunidade há vários anos, logo quando a pandemia se intensificou, e depois tivemos que dedicar todos os recursos a outras iniciativas por vários anos. Tivemos muita participação e, quando paramos a programação e o gerenciamento da comunidade, os fóruns pararam. Estamos prestes a investir mais tempo na implementação de nossa estratégia e gerenciamento de comunidade, então essa pergunta é a mais urgente!

No momento, estamos notando que muitos dos usuários que estão entrando na comunidade agora estão:

1. Entrando para postar um link de volta para seu site focado em palavras-chave de afiliados e spam.
2. Entrando e postando o que parece muito com uma resposta/postagem gerada por LLM / GPT.

Aqui está um exemplo de uma postagem que chegou à nossa fila de moderação ontem:

Nota: O usuário acabou de criar sua conta naquele mesmo dia.

Clique para ver uma captura de tela da postagem moderada

Snapshot 2023-07-22 at 16.23.44947×974 76.9 KB

Nossa mensagem do sistema Discourse foi enviada ao usuário:

Clique para ver uma captura de tela da mensagem PADRÃO do sistema

Snapshot 2023-07-22 at 16.22.43930×982 230 KB

Esta postagem de um novo usuário foi em resposta a esta postagem de 3 anos de Chris Anderson.

Quando você lê a postagem moderada do novo usuário, fica bem claro que esta mensagem é desonesta e uma resposta gerada por GPT ou algo semelhante.

Existem maneiras ideais de impedir que esses tipos de usuários apareçam na comunidade?

Existem maneiras de impedir que os usuários insiram respostas prontas de LLM, por qualquer motivo egoísta ou malicioso que possam ter?

Qualquer contribuição seria ótima!

Com que frequência isso acontece? Imagino se o seu site está sendo especificamente alvo por algum motivo.

Estou fazendo um palpite de que tem a ver com um ou ambos estes sites: http://bestpickleballpaddle.com/, https://thepickleballpaddles.com/. (Note que estes são sites reais, mas vamos não dar muito tráfego deles para cá.)

A motivação mais óbvia que consigo pensar para gerar uma postagem como a da sua captura de tela é ganhar alguma confiança no site para poder postar links de spam no futuro. Se esse for o problema, pode valer a pena alterar o valor da configuração min trust to post links do seu site do valor padrão do nível de confiança 0 para o nível de confiança 1 ou 2. Se houver alguns domínios que você esteja feliz em permitir que usuários de qualquer nível de confiança postem, você pode adicionar esses domínios à configuração do site allowed link domains.

Estou apenas jogando ideias aqui, mas estou me perguntando se, em vez de gastar muito esforço tentando detectar conteúdo gerado por LLMs, seria melhor tentar reduzir a motivação para criar esses tipos de postagens em primeiro lugar. Minha preocupação é que o conteúdo gerado por LLM se torne mais difícil de detectar com o tempo. Identificar falsamente conteúdo como tendo sido gerado por um LLM pode se tornar um problema.

Outra abordagem que pode ser útil para alguns casos seria usar a associação a uma organização, ou atividade em outra plataforma como critério para criar uma conta Discourse, ou como critério para obter um nível de confiança que permita postar links em um site Discourse. Por exemplo, seu formulário de inscrição tem um campo opcional perguntando o Nível de Classificação USAPA do usuário. Se a associação à USAPA der aos membros uma página de perfil em seu site, você poderia tornar a associação à USAPA um requisito para se inscrever em seu site, tendo “Link do Perfil USAPA” como um campo obrigatório em seu formulário de inscrição. Você poderia então habilitar a configuração do site Discourse must approve users e apenas aprovar usuários após confirmar a associação deles à USAPA. Outra possibilidade seria que o Discourse pudesse adicionar um recurso que permitiria que o nível de confiança de um usuário fosse limitado com base em um critério personalizado. Por exemplo, não permitir que um usuário progrida além do nível de confiança 1 até que sua associação à USAPA seja confirmada.

Estou apenas usando a associação à USAPA como exemplo aqui. Posso entender por que você pode não querer exigir associação à USAPA para usuários em seu site. A ideia de estabelecer confiança por meio de associação ou atividade em outro site está relacionada ao plugin que está sendo discutido aqui: $10k Bounty: Gitcoin Passport plug-in for Discourse.

Exatamente isso.

Quase certamente deve haver alguma agenda, mesmo que ainda não seja óbvia.

Recentemente tive um usuário que foi bastante convincente e chegou até o Nível de Confiança 2 antes de se tornar descarado em sua promoção de produtos, tendo apenas insinuado originalmente.

A configuração de link de nível de confiança é útil e contas suspeitas começarão a sugerir que as pessoas pesquisem por xyz no Google em vez de poderem postar links: outra bandeira vermelha.

Às vezes, você só precisa esperar até que a quantidade de evidências se acumule o suficiente para ter certeza de banir uma conta.

Infelizmente, atrasar a ação significa que a operação de limpeza dá mais trabalho depois.

Existe uma verificação de “digitado suspeitosamente rápido” de copiar e colar? A menos que tudo tenha sido um robô projetado para digitar lentamente para imitar um humano…

Então (se eu entendi as coisas corretamente) a coisa boa aqui é que essa pessoa foi pega pela infraestrutura existente. Incomodando a equipe, mas não os usuários.

Acho que Simon acertou aqui:

Eu estaria interessado em saber o quanto isso está acontecendo. O fato de essa pessoa ter definido um avatar relevante, com um nome de usuário relevante, em um fórum relevante… me leva a supor que isso é parcialmente uma coisa humana.
Pode ser apenas um estagiário de marketing excessivamente zeloso?

Tive um problema semelhante. A parte ofendida está atualmente suspensa. Existem sites que podem ajudar a identificar texto gerado por IA, o que é útil, mas não é uma solução de longo prazo. – A IA continuará a melhorar até que não haja como distinguir.

No entanto, Randall Munroe sugere que pode ser um problema que se resolve sozinho.

Para sua informação

Sou moderador de categoria no fórum OpenAI Discourse (ref) (não sou funcionário da OpenAI), então vejo o feedback no fórum sobre as mudanças do ChatGPT ao longo do tempo (ref) e, embora em geral sua declaração esteja correta, apenas adicionando alguma clareza em relação ao ChatGPT.

Desde que o ChatGPT ficou disponível e por muitos meses suas habilidades estavam melhorando, as conclusões eram

• mais coerentes
• em acordo com o prompt
• tornaram-se mais concisas, curtas em comprimento

Então, uma mudança foi feita que resultou em conclusões que eram

• menos coerentes
• menos em acordo com o prompt
• menos concisas e mais longas em comprimento

Muitos usuários no fórum notaram que era como se o ChatGPT tivesse sido revertido para uma versão anterior há alguns meses. Aqueles que usam o ChatGPT para criar código, um caso de uso que eu também uso o ChatGPT, notaram isso mais pronunciado, pois mais erros de sintaxe estavam aparecendo com a mudança.

Portanto, o pensamento a ter em mente é que, se você está tentando identificar conteúdo gerado pelo ChatGPT, é um alvo em movimento e que nem sempre está melhorando. Como programador, se eu estivesse tentando identificar conteúdo gerado pelo ChatGPT, isso seria valioso.

Além disso, não tenho nenhum conhecimento interno por ser moderador no site, pois não sou funcionário da OpenAI, então se você ouvir falar de ferramentas que incorporam informações para tornar esse conteúdo do ChatGPT identificável, não posso fornecer informações para isso.

Para aqueles que não usam o ChatGPT, aqui está um exemplo simples usando o texto acima.

Revise, use um tom agradável, seja conciso.

**Conclusão**

FYI,

Quero esclarecer alguns pontos importantes sobre as mudanças no ChatGPT ao longo do tempo. Como moderador de categoria no fórum OpenAI Discourse, tenho observado atentamente o feedback da comunidade sobre o desenvolvimento do ChatGPT ([ref](https://community.openai.com/about)).

Inicialmente, após seu lançamento, o ChatGPT mostrou melhorias consistentes em suas habilidades ao longo de vários meses. As conclusões estavam se tornando mais coerentes, alinhando-se melhor com os prompts fornecidos e ficando mais concisas e sucintas.

No entanto, houve uma atualização subsequente que resultou em alguns retrocessos. Os usuários notaram que as conclusões se tornaram menos coerentes, menos alinhadas com os prompts e mais longas. Isso levou a comparações com uma versão anterior do ChatGPT, que parecia ser um passo atrás. Em particular, aqueles que usam o ChatGPT para geração de código experimentaram um impacto mais pronunciado, pois notaram um aumento nos erros de sintaxe com a mudança.

É essencial entender que identificar conteúdo gerado pelo ChatGPT se tornou um alvo em movimento. Embora estivesse melhorando constantemente antes, nem sempre é o caso agora. Como programador, acho essa informação valiosa, especialmente ao tentar distinguir entre conteúdo gerado por humanos e por IA.

Devo esclarecer que, apesar de ser moderador no site, não sou funcionário da OpenAI e não possuo nenhum conhecimento interno. Portanto, se houver alguma ferramenta ou método desenvolvido para identificar conteúdo do ChatGPT, não posso fornecer informações sobre esse assunto.

Obrigado pela sua atenção e espero que este esclarecimento ajude a entender o estado atual do desenvolvimento do ChatGPT.

Atenciosamente,

[Seu Nome]

Para sua informação

Acabei de ver isto OpenAI Desativa Silenciosamente Sua Ferramenta de Detecção de IA e confirmei aqui

A partir de 20 de julho de 2023, o classificador de IA não está mais disponível devido à sua baixa taxa de precisão. Estamos trabalhando para incorporar feedback e atualmente pesquisando técnicas de proveniência mais eficazes para texto, e nos comprometemos a desenvolver e implantar mecanismos que permitam aos usuários entender se o conteúdo de áudio ou visual é gerado por IA.

@EricGT Excelentes pontos! Sim, é definitivamente um alvo em movimento. Não estou preocupado com o ChatGPT em particular. O gato saiu da caixa, por assim dizer, e acho que é apenas uma questão de tempo até que alguém sem escrúpulos use a tecnologia de forma deliberadamente prejudicial.

Sim, isso (incluindo propaganda disfarçada sem URLs), bem como para os URLs e anúncios que eles podem adicionar aos seus perfis - seja para resposta direta ou SEO. Em outros casos, para cultivar contas para spam em DMs. Estes são os principais casos, até onde sei.