Como facilitar a especificação se o conteúdo é escrito por humanos, assistido por IA ou gerado por IA?

Sou um dos administradores de um fórum com mais de 10 mil membros. Notamos que algumas pessoas começaram a usar IA intensamente para responder às postagens. É bom que estejam mais ativos e tentando ser úteis, mas algumas respostas podem ser confusas, já que as respostas de chatbots de IA tendem a ser muito confiantes, mas imprecisas. Não gostaríamos de proibir o uso de IA, mas sim incentivar as pessoas a divulgarem se ela foi usada, pois isso pode ajudar outros usuários (e os LLMs treinados com o conteúdo do fórum) a decidir o quanto confiar no conteúdo da postagem.

Gostaríamos de adicionar um seletor de “Origem do Conteúdo” a cada nova resposta com as seguintes opções:

  • Escrito por humano
  • Assistido por IA (revisado e editado)
  • Gerado por IA (levemente revisado)

Eu presumo que muitos outros fóruns precisariam de uma funcionalidade semelhante, então talvez ela pudesse ser adicionada como um recurso padrão ou um plugin. Mas, se isso não acontecer, seria ótimo se alguém pudesse dar conselhos sobre como configurar isso em nossa instância do Discourse hospedada.

3 curtidas

Se você confia nos seus usuários, você poderia apenas criar tags para isso? Ah, edição: Desculpe, acabei de ler que você disse “cada postagem

Ou você quer que seja “detectado” (ironicamente por IA) e que algum tipo de indicação seja adicionada automaticamente?

Isto parece ser um caso de uso para o pedido de funcionalidade tag replies, not just topics, onde foi notado que:

…então você pode participar para votar nesse pedido.

Eu não sou um desenvolvedor, mas acho que uma abordagem que não use tags provavelmente utilizaria a tabela post_custom_fields que é usada por plugins como o Custom Wizard Plugin. Incorporar um campo de postagem personalizado na interface do usuário — para seleção, exibição, pesquisa/filtragem — parece um projeto de plugin bem substancial.

1 curtida

Um plugin não funcionará em um fórum hospedado pelo Discourse

Eu acho que você também poderia fazer algo com um componente de tema. Talvez um que simplesmente adicione a informação como um [wrap] à postagem final e inclua alguma estilização sobre como a informação é destacada.

1 curtida

Eu confiaria nos usuários, mas se o uso de IA for óbvio e não divulgado, os moderadores também poderão marcar a postagem de acordo.

Seria um bom recurso de conveniência sugerir marcar a postagem como assistida por IA ou gerada por IA, mas não tenho certeza se é viável, e não é essencial. Poderíamos forçar o usuário a pensar sobre isso se, por padrão, o seletor não fosse inicializado, para que os usuários precisassem definir explicitamente a origem do conteúdo.

Pode ser fácil esquecer de adicionar uma tag (os usuários precisariam ser lembrados com mais frequência de usá-la), mas poderia funcionar.

Isso parece uma boa abordagem. Quanto trabalho seria necessário para configurar isso? Você acha que há chance de isso ser adicionado como um recurso integrado ou um plugin oficial?

Sempre há uma chance, mas acho que é bem baixa de isso acontecer no futuro previsível, a menos que essa solicitação de recurso exploda em votos.

Com a funcionalidade de tag atual, você pode exigir que os tópicos em uma categoria tenham uma tag de um grupo de tags especificado. Embora as tags de resposta não existam (e pareçam improváveis tão cedo), poderíamos esperar uma capacidade semelhante lá.

Se o objetivo é informar um leitor humano de que um texto envolve IA, então, na minha opinião, uma tag não é a solução. As pessoas não leem tags como parte do conteúdo real. A indicação, portanto, tem que fazer parte do próprio contexto.

Eu pessoalmente uso o método fornecido pelo Discourse:

<details class='ai-quote' open>
<summary>
<span>Título</span>
<span title='Discussão com IA'>IA</span>
</summary>
Mais ou menos o conteúdo…
</details>

Alternativamente, eu uso o componente Quote Callouts.

Ensinar os usuários a aplicá-los corretamente é, se não impossível, pelo menos extremamente difícil para usuários vindos de um histórico do Facebook. Então, eu optei por exigir que o conteúdo gerado por IA seja marcado de alguma forma. Contanto que haja um indicador visível dentro do próprio conteúdo e o material de IA esteja claramente separado, estou satisfeito.

Eu tentei usar uma tag, mas percebi muito rapidamente que ela não gerava reação. Além disso, quero usar tags para classificação de conteúdo, e é difícil para mim imaginar que alguém tentaria encontrar todo o conteúdo do meu fórum que envolvia IA. Especialmente porque o uso de IA provavelmente aumentará com o tempo. Pode até chegar ao ponto em que uma tag seria necessária para indicar que o conteúdo é feito por humanos (e não apenas com um emoji, já que tais sites e até fóruns já existem).

5 curtidas

você impõe esse requisito de alguma forma?

1 curtida

Fórum com pouco tráfego, então basicamente leio quase tudo. E os moderadores podem/irão sinalizar possíveis casos. Nem sempre é óbvio se a IA foi muito utilizada ou se foi copiado e colado. Não sei como isso seria automático, então usamos a vigilância de vizinhos :smirking_face:

Mas meus usuários conhecem bem a regra.

2 curtidas

Um pouco fora do tópico, mas em um fórum (que não é o Discourse) temos um tópico para discutir tudo sobre IA generativa, dos prós aos contras.
Um usuário regular entusiasmado começou a postar mensagens muito argumentativas para debater e contestar os pontos de outros membros em uma discussão um pouco acalorada.
A forma como suas postagens posteriores foram escritas entregou: em particular, uma postagem contendo 4 marcadores, todos usando a estrutura “Não é… É”.

Ele foi questionado e admitiu ter usado IA para escrever suas “últimas duas mensagens” e explicou que não era um problema porque instruiu a IA a refletir suas opiniões. E que se as pessoas não conseguissem refutar seus pontos, isso significava que elas estavam erradas, independentemente de as postagens dele serem de IA ou não.
Nem é preciso dizer que os outros usuários ficaram bem irritados quando entenderam que estavam usando seu tempo e energia para debater com uma IA.

7 curtidas