Gostaria de ouvir as experiências de equipes de fóruns que não permitem conteúdo gerado por IA/LLM. Como vocês conseguiram comunicar isso aos usuários? Como detectam esse tipo de conteúdo? E como abordam os usuários que publicam mesmo assim?
Todos os comentários são bem-vindos.
Observação: Pessoalmente, estou interessado apenas no lado humano das interações no front-end do site. Pressuponho que bloquear crawlers é uma causa perdida.
Nosso fórum é dedicado a discussões espirituais/religiosas. Banimos qualquer e todo conteúdo gerado por IA.
A maioria, senão todas, as gerações de texto por IA podem ser facilmente detectadas apenas pela leitura. O SynthID do Google é uma tecnologia interessante para detectar imagens geradas por IA e afirma ser capaz de detectar texto, provavelmente escrito apenas pelo Gemini, mas a OpenAI também dá suporte ao padrão. Ser capaz de detectar o texto pessoalmente é provavelmente uma habilidade adquirida, mas eu aprecio o trabalho sendo feito para responder à crise atual que temos de não conseguir detectar imagens ou textos gerados por IA.
Silenciar/suspenções ainda são o melhor caminho para isso, na minha opinião, especialmente se a conta for nova. Se houver uma conta nova aleatória que se junta ao seu site e instantaneamente posta um tópico gerado por IA, não vejo motivo para não simplesmente suspender a conta e bloqueá-la.
Quanto ao dilema inteiro de raspagem de dados (scraping): Meu site é para comunicação interna e documentação dentro de uma pequena empresa no momento e estou planejando usá-lo como um backend para blogging eventualmente. Não foi difícil configurar uma armadilha (honeypot) para desencorajar os rastreadores que optam por ignorar os arquivos robots.txt nos meus domínios.
Sempre que um rastreador de IA visita esse site, eles são levados a um labirinto infinito de spam usando o projeto iocaine auto-hospedado com um conjunto de dados de aproximadamente ~7000 palavras inventadas, algum HTML sem sentido, palavras aleatórias e notícias falsas feitas pelo Llama 8B.
Obviamente, esta é uma tática nuclear de “afaste-se” e não é para todos, mas tem sido ótima para mim no meu objetivo de impedir que LLMs (Large Language Models) peguem meu código ou conteúdo textual. Lembro de ter lido um estudo de caso que a Anthropic fez sobre envenenamento de LLM, mas não consigo encontrar o artigo mais, então não será anexado aqui, mas certamente em algum momento eles precisarão bloquear meu domínio quando perceberem que o bot enviou uns 5 milhões de solicitações para o meu domínio recentemente.
(Percebo que estamos deixando de lado a questão da carga dos crawlers, dos crawlers que extraem conteúdo para treinamento e das consequências sociais e econômicas dos desenvolvimentos rápidos atuais. Isso é bom.)
Para mim, em um site de hobby com baixo volume,
estamos tentando concordar e formular uma política escrita;
lidamos com as coisas à medida que surgem;
os exemplos mais graves são essencialmente spam, então apagamos e banimos;
caso contrário, fazemos objeções, talvez publicamente ou em particular, e podemos apagar as postagens.
Uma forma sugerida de orientação poderia ser assim:
‘Possuir’ o conteúdo das mensagens que você posta (ou seja, ler e entender, e não copiar e colar cegamente o conteúdo, independentemente de onde ele venha).
Tentar responder às suas próprias perguntas da melhor forma possível primeiro (por exemplo, pesquisando no fórum) antes de iniciar novos tópicos.
Comunicar detalhes de forma sucinta para que outros usuários possam ler e entender e ajudar, ou seja, evitar longos blocos de texto repetitivo ou irrelevante, ou declarações muito amplas sem informações suficientes.
Manter as discussões no tópico, evitar discussões meta (particularmente sobre o uso de IA - seja ‘melhores práticas’ ou ‘ética’).
Manter as conversas respeitosas e lembrar que temos usuários com diferentes origens, visões e opiniões.
Divirta-se! Isso deve ser um hobby.
(Em nosso ambiente de hobby, há um ângulo extra, que é o uso de LLMs dentro do hobby, o que abrange um espectro de possibilidades e tem tanto entusiastas quanto detratores.)
Este exemplo não envolve o Discourse, mas as questões de política e governança certamente se sobrepõem.
Tanto a versão em inglês quanto a alemã da Wikipedia agora possuem o que eu descreveria como políticas extremas de pureza em relação à IA. Como editor com 16 anos de experiência, fui injustamente acusado de adicionar conteúdo gerado por IA a um artigo que escrevi predominantemente. E o processo de buscar uma reparação tem sido desgastante. Isso incluiu o registro de reclamações formais junto ao Comitê de Arbitragem da Wikipedia EN (ArbCom) e à Equipe de Confiança e Segurança da Fundação Wikimedia (WMF TST) — ambas, até agora, foram sumariamente arquivadas ou rejeitadas sem justificativa.
Não quero relatar minhas experiências aqui, em parte porque elas ainda estão em andamento. No entanto, gostaria de incentivar os leitores a analisar esta troca extraordinária referente ao artigo da Wikipedia EN sobre Fern Cave, um sítio de importância cultural para o povo Modoc da Califórnia:
O autor em questão teve que negar o uso de IA quatro vezes. Seu conhecimento indígena também foi desvalorizado no processo. O editor responsável encerra com um comentário que se assemelha a uma preocupação, mas que também pode ser lido como uma ameaça velada de sanção caso ele não ceda.
Táticas psicológicas como essas são regularmente empregadas por editores que fazem cumprir as regras, e tenho evidências de outros exemplos.
Se você examinar a marcação de código-fonte nessa mesma troca, encontrará uma armadilha do tipo „honeypot“ com font-size: 0pt configurada para tentar detectar o uso de IA pelo autor acusado ao formular respostas. Essa armadilha não foi acionada.
Há relatos credíveis de vários editores que abandonaram a Wikipedia DE após serem „atacados injustamente“ devido ao seu suposto uso de ferramentas de IA.
Para responder à pergunta original feita neste tópico, argumentaria que a Wikipedia EN e a DE estão falhando gravemente em sua governança de múltiplas formas em suas tentativas de lidar com conteúdo gerado por IA. Documentei três estudos de caso em meu recente relatório de 17 páginas enviado à equipe da WMF TST. É bem possível que eu torne esse PDF público em breve.
Discrepo fortemente, com base em minhas experiências na Wikipedia em inglês (detalhadas em outro lugar sobre este tópico). Acredito que essa abordagem seja majoritariamente pseudociência misturada com arrogância. Mais significativamente, tal detecção não pode ser refutada — e, de fato, os editores fiscalizadores da Wikipedia, muitas vezes trabalhando em conjunto, simplesmente se fecham diante de desafios.
O editor acusado fica sob um ônus da prova invertido e enfrenta acusações que simplesmente não são falseáveis — mesmo diante das evidências mais convincentes em contrário. A justiça natural desaparece. Não é o tipo de governança comunitária que costuma dar certo.
Eu sei. Passei por esse processo em primeira mão. É horrível. Tem que haver uma maneira melhor.
Leitura relevante, especialmente o segundo artigo, foi revelador para mim quando o li pela primeira vez. Acho que isso também se aplica a você, @robbie.morrison. Algumas pessoas simplesmente “escrevem assim”.
E cheguei à seguinte tese: eu não escrevo como o ChatGPT. O ChatGPT, à sua maneira estranha, descorporificada e de origem global, escreve como eu. Ou, mais precisamente, ele escreve como milhões de nós que foram submetidos a um processo educacional e social muito específico, um processo deliberadamente projetado para lixar as ambiguidades e moldar nossos pensamentos em uma forma muito específica, muito formal e muito impressionante.
Sim, o viés contra falantes nativos de inglês é uma das minhas maiores preocupações.
Também não é uma comunidade do Discourse, mas esta é uma leitura interessante: Rules Roundtable XXI.V: Plagiarism, Integrity, and Generative AI. É do subreddit AskHistorians. Para quem não está familiarizado, esta é provavelmente uma das comunidades mais rigorosamente moderadas do Reddit. Basicamente, eles só permitem respostas de nível acadêmico às perguntas.
O subreddit AskHistorians ainda tem uma tendência de “atirar primeiro”, seguida por uma inversão do ônus da prova para o acusado (mas, certamente, com mais devido processo legal do que a Wikipedia/Wikimedia):
Se você não informar que usou IA para gerar uma resposta e suspeitarmos de que você possa estar usando a IA de maneira que viole as regras, você receberá um banimento. No entanto, todos banidos por uso de IA são informados sobre como apresentar um recurso. Pode parecer severo, mas parte de nossa justificativa é levar as pessoas ao modmail para que possamos ter uma discussão e evitar uma chamada pública que possa levar a uma perseguição em massa.
Talvez essa seja a única estratégia viável no momento? Mas dificilmente constitui justiça natural.
Cometo erros demais para ser erroneamente identificado como uma IA
Curiosamente, percebi que estou mais inclinado do que antes a não corrigir voluntariamente pequenos erros que noto nos meus próprios posts (mesmo em francês, minha língua nativa). Sinto que deixar essas imperfeições torna o que escrevo mais autêntico e com mais identidade. As pessoas podem potencialmente identificar uma mensagem como sendo minha por causa desses erros ou frases escritas de forma estranha. Também é menos cansativo mentalmente não tentar tornar tudo o que escrevo perfeito (o que quer que isso signifique).
Minha comunidade ainda não está muito ativa, mas sinto fortemente que não queremos que as pessoas postem conteúdo gerado por LLMs. Por enquanto, não tenho problema com rastreadores e quero que tenhamos um bot de LLM ou mensagens de sistema de LLM, mas não quero que os membros postem seu lixo do ChatGPT (temos uma enorme quantidade de documentação feita à mão que queremos que as pessoas usem).
Isso estará nas regras e vamos «moderar» quando virmos, mas estou interessado em sinalização automática e outras estratégias.
Indo bem, eu prefiro poucos tópicos e postagens que são muito mais interessantes no feed global, até mesmo para o SEO isso se faz importante pois a indexação de conteúdos advindos de AI é comummente punidos pelos buscadores tradicionais
De qualquer forma, pelo o Discourse ser de natureza pública na maioria das vezes, se eu acessar uma outra instancia em que seu conteúdo é majoritário ou misturados com AI Slop, eu naturalmente vou embora.
Qual exatamente o seu ponto?, existe uma grande diferença entre o uso como ferramenta, como o tradutor automático de idiomas e conteúdo temáticos como é o caso da minha instancia e entre outras, talvez você tenha sido literal de mais na leitura do meu comentário, não?, é uma pergunta genuína.
O meu ponto é que não és tão absoluto como dizes. Aceitas conteúdos gerados por IA, pois há muitos aqui. Na maioria das vezes no lado do código, mas as seções de ask.discourse.org também não são exceções.
Claro, nada na vida é absoluto mas como eu bem disse, se o conteúdo de uma instancia é majoritariamente composta ou de maneira mista gerada por conteúdo de IA, naturalmente irei rejeitar, de novo, parece que você costuma usar da literalidade em discussões, certo? ao invés de ser irônico, tente deixar as coisas claras da próxima vez.
