Para aqueles de nós que agora vivem com alucinações em dados públicos, sabemos que identificar as alucinações consome tempo.
Então, ao pensar no problema, lembrei-me de que, se um usar o Ocultar detalhes em uma postagem, há uma boa chance de um motor de busca respeitável não o indexar. Sei disso porque uso o recurso com frequência.
Embora o Ocultar detalhes resolva parte do problema, ele oculta informações que deveriam estar visíveis desde o início. Se, em vez disso, os dados selecionados forem marcados com metadados indicando que contêm uma alucinação e os metadados puderem passar do momento da criação até o uso por uma API ou visualizador para notar os dados contendo a alucinação, isso esperançosamente resolveria o problema. Além disso, ter uma opção de ícone como Ocultar detalhes, mas para alucinações, seria igualmente bom.
Sei que muitos pensarão que este não é apenas um problema do Discourse e concordo, mas o Discourse é uma entidade grande o suficiente no campo para que eles possam formar um grupo com outras entidades e estabelecer um padrão para resolver o problema, pois ele só piorará com o tempo.
É seguro assumir que você está falando sobre alucinações, pois se refere a dados imprecisos produzidos por uma IA? Existe algum benefício em tratar esses dados de forma diferente de dados enganosos produzidos por humanos? Chegamos a um ponto em que as pessoas estão tratando esses dados como mais autoritários do que os postados por humanos?
Obrigado por dedicar tempo para ler isto e fazer perguntas significativas.
Sim!
No momento, não.
No entanto, se você tiver acesso a um advogado na/para a empresa, perguntar a ele sobre isso pode ser benéfico. Esta é uma daquelas coisas que os governos estão olhando para criar leis e, embora eu não seja um advogado, apresentar um plano ao governo antes que eles criem as leis é melhor do que ter a lei criada e ter que cumpri-la.
Sim, muitos pesquisadores acreditavam que as citações eram reais até que não conseguiam encontrá-las. Eu não coleto isso, mas posso ficar de olho nelas e anotá-las se você quiser.
Eu entendo onde você quer chegar, mas essa não é a pergunta que eu faria. Talvez estas em vez disso.
As pessoas estão cientes de que a IA agora está criando textos semelhantes aos humanos que soam corretos e não são?
As pessoas estão cientes de que a IA está criando imagens que as pessoas têm certeza de que foram criadas por outro humano? ou até mesmo parecem ter sido tiradas por uma câmera, mas na verdade são geradas por IA?
Pessoas como pesquisadores, professores e outros com interesse em informações factuais gostariam de saber que as alucinações são marcadas como tal com metadados? ou vieram de uma fonte conhecida por gerar alucinações?
Um problema maior são os outros que se aproveitarão dessas pessoas que não sabem sobre isso. Se os dados forem marcados como alucinação e os dados forem limpos da tag de metadados, eu não ficaria surpreso se um advogado pudesse usar isso para mostrar intenção.
Novamente, obrigado pelo seu interesse. No momento, não planejo aprofundar isso, pois você parece ter a ideia, mas se tiver outras perguntas, não me importo de responder. Pessoalmente, prefiro viver em um mundo onde não precisávamos de filtros de spam, antivírus e, agora, parece, verificações de alucinações porque as pessoas querem usar indevidamente a tecnologia.
Uma das minhas preocupações com a IA é que, à medida que a IA é treinada em dados gerados por IA, a informação se tornará cada vez mais diluída. Para evitar isso, pode ser do interesse das organizações que treinam LLMs na internet saber como os dados em que estão treinando o LLM foram gerados. Algum tipo de padrão poderia ser útil para isso. Como exemplo, eu odiaria ver LLMs confiando na resposta do ChatGPT a “Quais são as melhores trilhas de mountain bike em Nanaimo para um ciclista de montanha de nível intermediário?” como dados autoritativos sobre mountain bike em Nanaimo.
Nesse sentido, seria muito mais acessível descrever os dados pelo que eles são, em vez de entrelaçar um argumento sobre texto gerado por computador, especialmente ao discuti-lo com um público que pode não ter as informações de conhecimento prévio.
Incorporar seu próprio viés (seja verdadeiro ou não) à pergunta é um tanto desonesto.
Por exemplo:
Seria conveniente ter uma maneira padrão de delinear texto escrito por um modelo de linguagem generativo (IA de Computador).
Já temos alguns métodos, por exemplo: @discobot roll 4d6
Na ausência de um autor explícito, a citação adequada é provavelmente a melhor abordagem.
Sim, o público em geral já está caindo na armadilha de usar o ChatGPT como se fosse um motor de busca que fornece resultados razoavelmente definitivos.
Claro que não é: é um vigarista especialista!
O ‘60 Minutes’ pediu ao ChatGPT recomendações de livros sobre o efeito da inflação na economia. Ele respondeu diligentemente com os títulos e autores de seis livros: nenhum dos quais existe!
Perguntei ao ChatGPT em duas ocasiões separadas se alguém havia morrido no Goodwood Festival of Speed.
Ambas as vezes ele me disse que isso só havia acontecido uma vez, mas cada vez me deu um ano e um nome diferentes.
Esta é uma limitação enorme e definitivamente um problema.
É uma ótima ferramenta, mas atualmente você não deve usá-la para pesquisa sem os plugins apropriados.
Ao consumir um fórum com conteúdo gerado (seja conteúdo gerado pelo usuário ou conteúdo gerado por IA), o espectador / consumidor deve ser quem exerce cautela.
Um proprietário de fórum nunca assumirá / deverá assumir a responsabilidade por todo o conteúdo gerado que é publicado em seu fórum, pois assumir essa responsabilidade também implicará responsabilidade legal. Ao sinalizar postagens específicas como ‘factualmente incorretas’, um proprietário de fórum pode inadvertidamente sugerir que todas as postagens não sinalizadas são ‘factualmente corretas’, potencialmente causando problemas significativos.
Isso leva ao meu ponto de que a avaliação da correção factual e da usabilidade prática das informações em postagens de fóruns é responsabilidade do consumidor, e não do editor.
Se esta for uma resposta para mim, então você não está entendendo o que o recurso faria.
O recurso daria aos usuários a capacidade de identificar partes de quaisquer dados como possivelmente contendo alucinações. Eu também não estou pedindo a nenhuma entidade para assumir a responsabilidade de identificar isso, mas para dar aos usuários, ao criar, uma maneira de identificar com metadados que pode conter alucinações. Assim, a menção de Hide Details, o usuário escolhe usá-lo quando necessário e ele se aplica apenas a tanto ou tão pouco quanto o usuário escolher, pode até ser usado várias vezes na mesma resposta.
Você não está simplesmente pedindo um verificador de fatos?
Portanto, independentemente da fonte (e principalmente porque você não saberá), você gostaria de revisar uma postagem em busca de falsidades.
Ironicamente, posso imaginar que a solução pode usar IA para fazer parte do processamento de linguagem natural para a tarefa, mas estou divagando…
A infeliz provável complexidade aqui é que ela terá dificuldades com viés político ou onde ideologia ou dogma possam estar envolvidos, por exemplo, em algumas áreas da medicina, onde não há fatos concretos para se basear.
Mas posso ver claramente que confirmar um fato óbvio pode ser simples, por exemplo, a data e o local de nascimento de uma figura famosa, por exemplo. Isso certamente poderia e deveria ser automatizado?
Definitivamente uma área interessante para se observar, com certeza!
Não se esperava tantas e variadas respostas a um pedido de funcionalidade, geralmente após postar eles ficam lá e juntam poeira, as respostas são apreciadas.
Aqui está um guia de dois cenários relacionados a isso que, esperançosamente, darão uma melhor compreensão do pedido de funcionalidade.
O usuário identifica alucinações
Um usuário usa um LLM, por exemplo, ChatGPT, para obter informações sobre cantos gregorianos. Eles colam a conclusão do ChatGPT em uma resposta do Discourse. Para as partes da resposta/conclusão que têm alucinações, o usuário seleciona os dados, clica em um ícone para alucinações e os metadados da seção, pense em HTML span ou similar, são atualizados para mostrar que o span contém uma alucinação.
Os spans podem ser tão pequenos quanto uma opção para uma linha de comando. Para esta linha de comando gerada pelo ChatGPT
gregorio -i --gregfont=“Caeciliae” myfile.gabc
parece que a opção gregfont é uma alucinação, portanto, esta seção deve ser marcada como --gregfont="Caeciliae" como uma alucinação.
Se alguém inspecionasse o HTML antes e depois de anotar, algo assim seria visto
A API consome dados com alucinações
Um usuário está procurando uma linha de comando para criar partituras de canto gregoriano, ele ajusta a consulta para não incluir alucinações. À medida que o motor de busca gera resultados, ele encontra um acerto para uma página com o comando
gregorio -i --gregfont=“Caeciliae” myfile.gabc
O motor de busca então verifica as linhas de comando na página e encontra a específica de interesse. O motor de busca então verifica a linha de comando para ver se ela contém uma alucinação e encontra o elemento span com a alucinação e não a inclui no resultado da pesquisa.
Obviamente, pode-se criar um plugin para ferramentas como o Chrome para adicionar os spans necessários, mas também deve haver um padrão, pense em RFC, dos metadados para torná-lo analisável para uso com APIs.
Os cenários acima foram adaptados para páginas da web, mas algo semelhante deve se aplicar a LaTeX, etc.
Embora os cenários acima usassem apenas um escalar para identificar uma alucinação, os metadados poderiam ser mais complexos, pense em JSON ou tipo de dado algébrico.
Para mim, parece que este é um pedido de um recurso que será útil em algumas, mas não em todas, as comunidades.
Pessoalmente, ficaria feliz em ver o texto gerado por máquina sempre oculto em um mecanismo semelhante a um spoiler: quero saber que é isso, e quero saber antes de investir tempo lendo-o.
Também seria uma oportunidade de colocar algo nas regras locais: falhar em delinear seu texto gerado por máquina é uma infração sinalizável.
Colocar texto gerado por máquina dentro de um mecanismo semelhante a um spoiler também permite que o autor adicione algum comentário ou descrição: eles podem estar incluindo o texto porque ele está engraçadamente errado, ou educacionalmente errado, ou porque é útil.
A questão de futuros modelos de linguagem serem treinados parcialmente com base nas saídas de modelos de linguagem mais antigos… esse é provavelmente um grande problema, maior do que as tags de spoiler.
Tudo isso é muito bom, mas certamente o primeiro passo é identificá-lo como produzido por máquina? Dado que você não conhece alguns usuários desde o início…
Isso pode ser impossível e tudo o que você pode fazer é verificar a precisão de alguma forma…
Meu raciocínio é que se trata de um problema de moderação. Alguns textos parecem errados, são feitas investigações e são sinalizados como “gerados por máquina, mas não marcados como tal” ou como “spam provável”.
Acho que entendi que algumas pessoas estão tentando criar serviços que possam detectar textos gerados por máquinas, mas não sei quão eficazes eles são ou quão caros serão. No mundo da educação, trata-se de trapaça, e há motivações para detectá-la.
4, 6, 4, 5