Bloquear "Ajude-me a Escrever" do Google

Acabei de ver que o Google lançou um recurso que incentiva os usuários do Chrome a usar IA para escrever conteúdo na Web. :confounded:

Acho que isso tem o potencial de destruir a utilidade das comunidades online. Os usuários não poderão confiar que não estão se comunicando com um bot que é operado por alguém que está apertando botões em seu navegador, mas que realmente não tem nada a dizer.

Talvez isso possa ser detectado rastreando se o texto é inserido pelo navegador ou digitado pelo usuário? Se nenhum colar for detectado, mas o editor de repente se encher de texto, é provável que seja gerado por IA.

Se uma postagem for gerada por IA, talvez ela possa receber uma bandeira especial e, opcionalmente, ser retida para moderação? Os administradores poderiam ver quantas postagens um usuário faz que parecem ser geradas por IA. Apenas pensando alto.

12 curtidas

Já existe um detector de "digitou muito rápido" que deve capturar copiar e colar?

Quanto à análise do conteúdo real, deixarei isto aqui:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text

" A partir de 20 de julho de 2023, o classificador de IA não está mais disponível devido à sua baixa taxa de precisão. Estamos trabalhando para incorporar feedback e atualmente pesquisando técnicas de proveniência mais eficazes para texto, e nos comprometemos a desenvolver e implantar mecanismos que permitam aos usuários entender se o conteúdo de áudio ou visual é gerado por IA. "

Não estou ciente de nenhuma substituição.

Este é um problema difícil.

8 curtidas

A ferramenta existente pode pegá-lo na moderação, mas os administradores não conseguirão distinguir um copiar/colar (geralmente um spammer) de IA inserida pelo navegador (um novo tipo de problema com motivações diferentes). Não haverá como ver um histórico de quantas vezes um usuário insere conteúdo no fórum do Chrome ou de uma extensão do navegador, o que facilitaria a detecção de usuários que não estão escrevendo seu próprio conteúdo.

Estou imaginando usuários cuja motivação para contribuir é ganhar visibilidade online ou algum tipo de “pontos”. Eles são viciados em ler, mas apenas observaram por anos. Essa ferramenta de IA os encoraja a escrever algo onde, de outra forma, estariam contentes em ler silenciosamente.

Acho que se esse recurso começar a ser amplamente utilizado, haverá uma erosão gradual da qualidade do conteúdo nos fóruns. No mínimo, será um sentimento geral de que “a qualidade dos fóruns não é mais a mesma de antes”.

Esse declínio já aconteceu com a Web em geral, e muitas pessoas agora adicionam “reddit” às suas consultas de pesquisa, porque estão tentando evitar spam de SEO e artigos de IA.

Se esse recurso se tornar popular, a moderação também se tornará mais difícil, pois cada postagem capturada pelo filtro “usuário digitou muito rápido” terá que ser cuidadosamente examinada para ver se é IA. Os moderadores não conseguirão determinar rapidamente se “isso foi colado” (pode ter sido escrito em um editor de texto e copiado) ou “isso foi injetado do Chrome ou de uma extensão” (provavelmente IA). Se um histórico do número de postagens injetadas para cada usuário também estiver visível para os administradores, poderíamos tomar essas decisões de moderação com mais facilidade.

1 curtida

Se alguém aqui tiver acesso a esse recurso, talvez possa explicar ou demonstrar que tipo de saída ele fornece.

1 curtida

Aqui está uma captura de tela. Ela abre uma caixa. Você diz o que escrever e, se clicar em “Inserir”, ele é enviado para o editor. Pedi para escrever um post longo, mas ele escreveu apenas um parágrafo.

Eu normalmente não uso o Google Chrome, mas quando o abri para verificar um site, uma aba abriu automaticamente para anunciar o novo recurso.

2 curtidas

Se for enviado ao editor em um instante, ele deverá acionar o sinal para a fila de revisão, assim como se tivesse sido copiado e colado de outra fonte.

1 curtida

Pode entrar em moderação, mas ainda não há como distinguir as diferentes motivações dos usuários.

Estou apenas sugerindo que, se as pessoas começarem a usar esse recurso e postarem usando IA, algumas ferramentas extras facilitariam a proteção dos fóruns contra isso:

  • Enviar a postagem para moderação, mesmo para usuários confiáveis (ou pelo menos marcá-la para ser revisada por um humano após ser postada).
  • Marcar a inserção de texto de ferramentas de IA de forma diferente do copiar/colar.
  • Manter um total acumulado para cada usuário sobre quantas vezes ele inseriu texto no editor. Um usuário antigo que usa o recurso uma vez não deveria ser um grande problema, mas ser capaz de detectar um padrão de inserção de texto seria útil.

Não consegui encontrar documentação, mas suspeito fortemente que a “ferramenta de IA” esteja usando a API de Área de Transferência do navegador, então um site não poderá distinguir a origem do texto.

1 curtida

Isso é hilário. O Google deveria fornecer uma maneira de bloqueá-lo em um site ou domínio - semelhante à forma como o Smart Compose pode ser desativado para o Google Docs.

Sou totalmente a favor de usar IA como um assistente de escrita, mas não assim.

2 curtidas

Ainda pode haver diferenças detectáveis — para colar, o cursor tem que entrar na área de texto e pressionar teclas ou clicar com o botão direito, mas para injetar conteúdo, ele não faz essas coisas. (Edição: para usar o recurso, você clica com o botão direito uma vez. Em seguida, há uma pausa enquanto você usa a ferramenta. Em seguida, a injeção acontece.)

Mesmo que não seja detectável, seria útil manter uma contagem de quais usuários estão copiando/colando e com que frequência. Caso contrário, os moderadores passarão muito tempo tentando analisar postagens e terão usuários discutindo com eles sobre coisas para as quais não têm evidências além de uma intuição. A moderação já é uma tarefa extremamente avassaladora.

Obrigado pela ilustração @j127

Para minha própria comunidade, gostaria de continuar permitindo que qualquer pessoa use ferramentas de tradução, caso não se sinta confiante em inglês, mas não quero posts de IA genéricos e insubstanciais. No meio, pode haver posts que a pessoa sentiu que queria polir usando uma ferramenta de IA - é comum hoje em dia as pessoas usarem essas ferramentas para melhorar uma carta de apresentação ou um documento ou apresentação. Acho que provavelmente estou bem com isso.

O que importa para mim é a qualidade do post - ele adiciona algo à discussão, ele expressa as opiniões, experiências ou conhecimentos do autor.

Acho que minha defesa, hoje, é dupla

  • estar vigilante de que esse tipo de coisa pode acontecer
  • possivelmente, postar algumas orientações (ou regras) que digam qual é a posição, para que o conteúdo ofensivo possa ser moderado sem muita surpresa.

Parece improvável para mim que a defesa automática seja eficaz, especialmente à medida que as ferramentas de IA melhoram.

5 curtidas

Absolutamente isso. Já existe uma enorme variedade de modelos de IA, variações de como os modelos são treinados e variações infinitas nos prompts que um usuário pode fornecer para gerar resultados. Qualquer estratégia para detectar conteúdo gerado por IA falhará muito rapidamente.

3 curtidas

O método que sugeri não depende de como o conteúdo de IA é gerado. Ele mede a forma como o conteúdo é injetado na página e o tempo das interações do usuário. Ele deixa as decisões finais para os moderadores, que teriam mais informações para tomar suas decisões. Não pegaria tudo, mas pegaria muitas coisas.

No meu fórum principal, os spammers costumam criar contas e fazer postagens por um longo tempo, fingindo ser usuários regulares. Às vezes, as contas têm um ou dois anos antes de começarem a injetar links de spam. Eles não postam nada interessante, mas também não violam nenhuma regra, então não podem ser banidos imediatamente. Não há tempo suficiente para conversar com eles individualmente para ver se são usuários legítimos. Esse é um grupo sobre o qual me preocupo.

Pode ser que esse recurso do Google Chrome não decole, mas há o risco de que ele tenha um enorme efeito negativo nos fóruns em geral, aumentando a carga de moderação e diminuindo a percepção pública de seu valor devido a um aumento de conteúdo de IA vago que é apenas o suficiente para passar.

Se decolar, não haverá como distinguir uma postagem de IA de um usuário que simplesmente não escreve muito bem, mas que ainda está dentro da faixa de conteúdo aceitável, e tentar tomar essas decisões de moderação sem dados pode se tornar um fardo avassalador para os administradores. Se um moderador tomar uma decisão errada ou a pessoa acusada mentir sobre o uso de IA, isso pode levar a conversas demoradas de idas e vindas com os usuários.

Pode ser muito cedo para adicionar um recurso para se defender contra o problema, mas espero que o Discourse o mantenha em observação.

Apenas para mencionar que estamos realmente de olho neste espaço.

Precisamos ouvir histórias de sucesso e fracasso das comunidades para ajudar a decidir sobre estratégias.

Há uma gama tão enorme aqui:

  • Verificador de feitiços/frases+++ … deve ser banido? Se a IA tornar minha escrita um pouco mais clara, é realmente um crime que ela tenha removido um pouco.
  • Histórias multilíngues … não seria adorável se verdadeiros fóruns multilíngues pudessem surgir? Nem todo mundo fala inglês espetacular.
  • É um crime ter um parceiro de brainstorming para discutir ideias antes de postar.

Eu acho que há mérito em melhorar a moderação … com certeza. Um sistema de bandeira Amarelo / Laranja / Vermelho poderia ser interessante … com certeza.

5 curtidas

Minha objeção à ferramenta de escrita de IA do Google é sua interface do usuário. Ela gera uma resposta e exibe um grande botão "Inserir". A maneira não preguiçosa de usar a IA como ferramenta de escrita é conversar com ela sobre o que você está escrevendo.

2 curtidas

Sim, concordo muito com isso. Podemos ter detectores de IA, mas por que demorou 15 minutos para alguém apontar um guia que foi gerado por IA* (no fórum de onde venho)? Pode estar desativado, mas torna o trabalho árduo das pessoas sem sentido para a IA. Na verdade, tivemos 2 encontros com guias gerados por IA e um usuário humano-IA.

*

Nesse fórum, tivemos maus encontros com IA em junho, e a maioria de nós acredita em fazer as coisas por conta própria (mais especificamente, escrever guias).

1 curtida

Obrigado por ficar de olho nisso.

Não sou contra IA — apenas conteúdo gerado por IA que é apresentado como se tivesse sido escrito por um humano.

No meu fórum principal, minha regra sobre conteúdo de IA é que tudo bem postar ideias de ferramentas como o ChatGPT, desde que seja claramente marcado como sendo do ChatGPT. As pessoas podem postar alguma saída do ChatGPT que se torna a base de uma conversa entre humanos. Comentários de robôs disfarçados de humanos não são permitidos.

Acho que extensões como o Grammarly são ativadas para sites específicos e, em seguida, trabalham em textos que já foram digitados diretamente em áreas de texto, portanto, não seriam detectadas como inserção de IA.

Se alguém usa um aplicativo separado de verificação gramatical em vez de uma extensão de navegador, uma interação como Ctrl+V (ou Command+V, ou clique com o botão direito e cole) seria detectada, o que a distinguiria da inserção direta de IA.

Parece que seria ideal se as pessoas escrevessem conteúdo em seus próprios idiomas e, em seguida, a IA rodando no fórum fizesse as traduções. A tecnologia de tradução continuará a melhorar, então ter usuários postando em seus idiomas nativos provavelmente levará a um conteúdo traduzido melhor a longo prazo.

Acho que usuários injetando conteúdo de IA em línguas estrangeiras provavelmente tornará ainda mais útil saber se o conteúdo foi injetado com uma ferramenta de IA. No momento, geralmente não é difícil detectar conteúdo do ChatGPT em inglês apenas lendo-o, mas o conteúdo gerado por IA em outros idiomas provavelmente não será detectável, exceto monitorando as interações do usuário com a página.

Eu me pergunto se as pessoas que fazem isso são uma porcentagem muito pequena de usuários de IA. Se alguém está fazendo brainstorming com IA em outra janela e depois cola o texto, as teclas/cliques seriam detectáveis. A ferramenta do Google não faz brainstorming, apenas gera conteúdo automaticamente.

A detecção de texto de IA, ou seja, a capacidade de distinguir texto escrito por máquina de texto escrito por humanos, depende de vários fatores, sendo a linguagem um deles. O inglês tem sido o centro da pesquisa e desenvolvimento de IA por muito tempo, o que significa que os modelos de linguagem inglesa foram mais treinados e são frequentemente mais sofisticados. Isso pode levar o texto de IA em inglês a ser mais fluente e mais difícil de perceber em comparação com outros idiomas.

Por outro lado, à medida que os modelos de IA evoluem e são treinados com dados multilíngues, sua capacidade de produzir texto credível em outros idiomas melhora. Modelos multilíngues, como o GPT-3 e seus sucessores, demonstraram sua capacidade de produzir texto fluente em vários idiomas. Isso significa que a lacuna na dificuldade de detectar texto gerado por IA em diferentes idiomas pode diminuir com o tempo.

A detecção de texto de IA também depende de outros fatores, como o contexto do texto, a complexidade do tópico e a própria capacidade do leitor de reconhecer expressões não naturais ou padrões repetitivos no texto. Além disso, recursos específicos da linguagem, como gramática e vocabulário, podem afetar o quão fácil ou difícil é reconhecer texto gerado por IA.

Sim, isso foi gerado por IA e em finlandês no início. A versão em finlandês foi fácil de detectar manualmente, porque ninguém fala assim. Fora isso, estava perfeito, mas o tom era estranho.

Então eu o passei pelo DeepL para obter a versão em inglês. Mesmo eu vejo imediatamente que há uma grande chance de ter sido escrito por IA.

Meu ponto fraco é que, quando toda solução de IA é igualmente ruim em criar texto que pode enganar leitores nativos, então a IA é totalmente inofensiva para dizer a diferença.

(E estou um pouco confuso por que é tão medíocre, mesmo em inglês)

Então, o que resta? Detectar “copiar e colar” já mencionado, por exemplo.

Não me importo o quanto eu cometa erros gramaticais ou use preposições incorretas, você normalmente consegue me entender bem o suficiente, mas às vezes pode haver uma situação em que eu quero ou preciso escrever em inglês o mais limpo possível. Então posso pedir à IA para corrigir meu texto e usá-lo, ou ao DeepL, para traduzi-lo para o inglês.

O que você acha que como eu consigo esse texto aqui :smirking_face: Exatamente. E se nesse ponto algum outro sistema automático me disser que meu texto foi sinalizado por causa de Ctrl+V porque

  • Eu o traduzi em outro lugar
  • Eu criei esse texto usando PM aqui, como aconselhado

Eu ficaria muito irritado.

Novamente, sou apenas mais um usuário final, mas não consigo ver como podemos vencer este jogo. O mesmo tipo de problema que com imagens de IA.

Às vezes, descobrimos que estamos procurando soluções técnicas para problemas sociais. O problema social aqui são contribuições de baixa qualidade: uma política apoiada por ação do moderador deveria funcionar… exceto pelo problema de escala.

Eu gerencio fóruns pequenos, então esse não é o meu problema. Um fórum pequeno pode se tornar um fórum grande, seria possível permitir que isso acontecesse sem aumentar a moderação - e o sinalamento de usuários. Seus usuários precisam estar atentos a conteúdo de baixa qualidade, e seus moderadores precisam agir sobre os sinais.

Eu acho - espero - que possamos evitar ser inundados por posts de IA sem perder a capacidade das pessoas de usar tradução automática. Não precisamos de 100% de sucesso - precisamos manter o conteúdo do nosso fórum em um nível de qualidade que funcione para os usuários, para que as pessoas continuem voltando, continuem contribuindo e ajudem com o sinalamento.

2 curtidas

Não será fácil detectar apenas por posts individuais, é por isso que sugeri manter estatísticas sobre a frequência com que os usuários fazem isso — possivelmente por coisas como ctrl-v, cliques com o botão direito, foco de aba e inserção de texto (pontuações separadas). O objetivo seria ver padrões dos usuários, para que, quando chegar a hora de confrontá-los, haja evidências em vez de apenas adivinhações.

As decisões finais de moderação ainda seriam tomadas por humanos, mas a principal diferença é que esses humanos teriam mais dados para tomar essas decisões de forma mais rápida e precisa. Nem todo caso precisa ser confrontado, mas alguns sim.

Poderia haver maneiras de detectar diferentes tipos de motivações. Um post onde o compositor fica aberto por muito tempo e há muitas colagens após a perda de foco da aba, provavelmente não é injeção de texto de IA.

Os dados que o Discourse fornece já facilitaram muito as decisões de moderação — até mesmo coisas básicas como a localização do endereço IP, combinadas com o nome de usuário, o conteúdo do primeiro post, se eles digitaram muito rápido, typing_duration_msecs, composer_open_duration_msecs, etc.

Acho que mais alguns campos ali seriam úteis, se o recurso do Google decolar. Mesmo que o Discourse não crie um detector sofisticado para IA, coletar esses dados no banco de dados pode facilitar o desenvolvimento de plugins por outras pessoas.


Eu não tinha notado antes, mas acabei de ver uma coisa de “IA” aparecer aqui que se traduz para o inglês. Eu pessoalmente não faria isso no meu fórum. Eu faria com que os usuários escrevessem em suas próprias línguas como conteúdo bruto e, em seguida, executaria um tradutor nisso antes de apresentá-lo aos outros usuários. Foi o que eu quis dizer acima no meu comentário sobre futuros softwares de tradução serem melhores do que os de hoje. Ao armazenar a língua nativa do usuário, o melhor software de tradução das décadas de 2030 e 2040 poderia ser usado nele, e o conteúdo poderia ser lido por usuários que falam essa língua sem traduzi-lo para o inglês e de volta.