Per quelli di noi che ora vivono con allucinazioni nei dati pubblici, sappiamo che identificarle richiede tempo.
Quindi, pensando al problema, ho ricordato che se si utilizza Nascondi dettagli in un post, c’è una buona probabilità che un motore di ricerca rispettabile non lo indicizzi. Lo so perché uso spesso questa funzione.
Mentre Nascondi dettagli risolve in parte il problema, nasconde informazioni che dovrebbero essere visibili fin dall’inizio. Se invece i dati selezionati venissero contrassegnati con metadati che indicano che contengono un’allucinazione e i metadati potessero passare dal momento della creazione all’uso da parte di un’API o di un visualizzatore per notare i dati contenenti l’allucinazione, si risolverebbe il problema. Inoltre, avere un’opzione icona come Nascondi dettagli ma per le allucinazioni sarebbe altrettanto utile.
So che molti penseranno che questo non sia solo un problema di Discourse e sarei d’accordo, ma Discourse è un’entità abbastanza grande nel settore da poter formare un gruppo con altre entità e stabilire uno standard per affrontare il problema, poiché peggiorerà solo con il tempo.
È sicuro presumere che tu stia parlando di allucinazioni in riferimento a dati inaccurati prodotti da un’IA? C’è qualche vantaggio nel trattare questi dati in modo diverso dai dati fuorvianti prodotti dall’uomo? Siamo arrivati al punto in cui le persone trattano questi dati come più autorevoli dei post umani?
Grazie per aver dedicato del tempo a leggere questo e a porre domande significative.
Sì!
Al momento no.
Tuttavia, se hai accesso a un avvocato per/dell’azienda, chiedere a lui/lei potrebbe essere utile. Questa è una di quelle cose per cui i governi stanno pensando di creare leggi e, sebbene io non sia un avvocato, presentare un piano al governo prima che vengano create le leggi è meglio che avere la legge creata e doverla rispettare.
Sì, molti ricercatori credevano che le citazioni fossero reali finché non riuscivano a trovarle. Io non le raccolgo, ma posso tenerle d’occhio e annotarle se vuoi.
Capisco dove vuoi arrivare, ma non è la domanda che farei. Forse queste invece.
Le persone sono consapevoli che l’IA sta ora creando testi simili a quelli umani che suonano corretti e non lo sono?
Le persone sono consapevoli che l’IA sta creando immagini che le persone sono convinte siano state create da un altro essere umano? o che sembrano addirittura scattate da una fotocamera, ma in realtà sono generate dall’IA?
Le persone, come ricercatori, insegnanti e altri con un interesse acquisito nelle informazioni fattuali, vorrebbero sapere che le allucinazioni sono etichettate come tali con metadati? o provengono da una fonte nota per generare allucinazioni?
Un problema più grande sono gli altri che approfitteranno di queste persone che non ne sono a conoscenza. Se i dati sono contrassegnati come allucinazione e i dati vengono puliti dal tag dei metadati, non mi sorprenderei se un avvocato potesse usarlo per dimostrare l’intento.
Ancora, grazie per il tuo interesse. Al momento non ho intenzione di approfondire ulteriormente questo aspetto poiché sembri aver colto il punto, ma se hai altre domande, non mi dispiace rispondere. Personalmente preferirei vivere in un mondo in cui non avessimo bisogno di filtri antispam, antivirus e ora, a quanto pare, controlli sulle allucinazioni perché le persone vogliono abusare della tecnologia.
Una delle mie preoccupazioni riguardo all’IA è che, man mano che l’IA viene addestrata su dati generati dall’IA, le informazioni diventeranno sempre più diluite. Per evitare ciò, potrebbe essere nell’interesse delle organizzazioni che addestrano gli LLM su Internet sapere come sono stati generati i dati su cui stanno addestrando l’LLM. Una sorta di standard potrebbe essere utile a questo scopo. Ad esempio, odierei vedere gli LLM fare affidamento sulla risposta di ChatGPT a “Quali sono i migliori percorsi per mountain bike a Nanaimo per un mountain biker di livello intermedio?” come dati autorevoli sulla mountain bike a Nanaimo.
A questo proposito, sarebbe molto più accessibile descrivere i dati per quello che sono, piuttosto che intrecciare un argomento sul testo generato al computer, specialmente quando si discute con un pubblico che potrebbe non avere le informazioni di base.
Incorporare il proprio pregiudizio (vero o falso che sia) nella domanda è alquanto disonesto.
Ad esempio:
Sarebbe conveniente avere un modo standard per delineare il testo scritto da un modello linguistico generativo (AI Computer).
Abbiamo già alcuni metodi, ad esempio: @discobot roll 4d6
In assenza di un autore esplicito, una corretta citazione è probabilmente l’approccio migliore.
Sì, il pubblico generale sta già cadendo nella trappola di usare ChatGPT come se fosse un motore di ricerca che fornisce risultati ragionevolmente definitivi.
Ovviamente non lo è: è un truffatore esperto!
“60 Minutes” ha chiesto a ChatGPT raccomandazioni di libri sull’effetto dell’inflazione sull’economia. Ha risposto diligentemente con i titoli e gli autori di sei libri: nessuno dei quali esiste!
Ho chiesto a ChatGPT in due occasioni separate se qualcuno fosse morto al Goodwood Festival of Speed.
Mi ha detto entrambe le volte che era successo solo una volta, ma ogni volta mi ha dato un anno e un nome diversi.
Questa è un’enorme limitazione ed è decisamente un problema.
È uno strumento fantastico, ma attualmente non dovresti usarlo per la ricerca senza i plugin appropriati.
Quando si fruisce di un forum con contenuti generati (sia generati dagli utenti che generati dall’IA), è lo spettatore/consumatore a dover usare cautela.
Un proprietario di forum non si assumerà mai / non dovrebbe assumersi la responsabilità di tutti i contenuti generati pubblicati sul proprio forum, poiché assumersi tale responsabilità implicherebbe anche una responsabilità legale. Segnalando post specifici come “fattualmente errati”, un proprietario di forum potrebbe suggerire inavvertitamente che tutti i post non segnalati siano “fattualmente corretti”, causando potenzialmente problemi significativi.
Ciò porta al mio punto che la valutazione della correttezza fattuale e dell’utilità pratica delle informazioni nei post del forum è responsabilità del consumatore, piuttosto che dell’editore.
Se questa è una risposta a me, allora non stai capendo cosa farebbe la funzionalità.
La funzionalità darebbe agli utenti la possibilità di identificare porzioni di qualsiasi dato come potenzialmente contenenti allucinazioni. Inoltre, non sto chiedendo a nessuna entità di assumersi la responsabilità di identificarle, ma di dare agli utenti, quando le creano, un modo per identificare con metadati che potrebbero contenere allucinazioni. Pertanto, la menzione di Nascondi dettagli, l’utente sceglie di usarlo quando necessario e si applica solo a quanto più o quanto meno l’utente sceglie, può anche essere utilizzato più volte nella stessa risposta.
Quindi, indipendentemente dalla fonte (e principalmente perché non la conoscerai), vorresti rivedere un post per individuare falsità.
Ironicamente, posso immaginare che la soluzione potrebbe utilizzare l’IA per fare un po’ di elaborazione del linguaggio naturale per questo compito, ma divago…
L’infelice probabile complessità qui è che faticherà con i pregiudizi politici o ovunque possano essere coinvolte ideologie o dogmi, ad esempio in alcune aree della medicina, dove non ci sono fatti certi su cui fare affidamento.
Ma posso chiaramente vedere che confermare un fatto ovvio potrebbe essere semplice, ad esempio la data e il luogo di nascita di una figura famosa, per esempio. Quello sicuramente potrebbe e dovrebbe essere automatizzato?
Decisamente un’area interessante da osservare, di sicuro!
Non ci si aspettava un numero così elevato e vario di risposte a una richiesta di funzionalità, di solito dopo averla pubblicata rimangono lì a prendere polvere, le risposte sono apprezzate.
Ecco una panoramica di due scenari correlati che, si spera, daranno una migliore comprensione della richiesta di funzionalità.
L’utente identifica le allucinazioni
Un utente utilizza un LLM, ad esempio ChatGPT, per informazioni sui canti gregoriani. Incolla il completamento di ChatGPT in una risposta di Discourse. Per le parti della risposta/completamento che presentano allucinazioni, l’utente seleziona i dati, fa clic su un’icona per le allucinazioni e i metadati della sezione, pensa a HTML span o simili, vengono aggiornati per mostrare che l’intervallo contiene un’allucinazione.
Gli intervalli potrebbero essere piccoli come un’opzione per una riga di comando. Per questa riga di comando generata da ChatGPT
gregorio -i --gregfont=“Caeciliae” myfile.gabc
sembra che l’opzione gregfont sia un’allucinazione, quindi questa sezione dovrebbe essere contrassegnata come --gregfont="Caeciliae" come allucinazione.
Se si ispezionasse l’HTML prima e dopo l’annotazione, si vedrebbe qualcosa di simile
L’API consuma dati con allucinazioni
Un utente sta cercando una riga di comando per creare spartiti musicali gregoriani, modifica la query per non includere le allucinazioni. Mentre il motore di ricerca genera risultati, trova un riferimento a una pagina con il comando
gregorio -i --gregfont=“Caeciliae” myfile.gabc
Il motore di ricerca quindi controlla le righe di comando sulla pagina e trova quella specifica di interesse. Il motore di ricerca quindi controlla la riga di comando per vedere se contiene un’allucinazione e trova l’elemento span con l’allucinazione e non lo include nel risultato della ricerca.
Ovviamente si potrebbe creare un plugin per strumenti come Chrome per aggiungere gli span necessari, ma ci dovrebbe anche essere uno standard, pensa a RFC, dei metadati per renderlo analizzabile per l’uso con le API.
Gli scenari di cui sopra sono stati adattati per le pagine web, ma qualcosa di simile dovrebbe applicarsi a LaTeX, ecc.
Mentre gli scenari di cui sopra utilizzavano solo uno scalare per identificare un’allucinazione, i metadati potrebbero essere più complessi, pensa a JSON o tipo di dati algebrico.
Mi sembra che questa sia una richiesta di una funzionalità che sarà utile in alcune, ma non in tutte, le community.
Personalmente sarei felice di vedere il testo generato dalle macchine sempre nascosto all’interno di un meccanismo simile a uno spoiler: voglio sapere che è quello che è, e voglio saperlo prima di investire tempo a leggerlo.
Sarebbe anche un’opportunità per inserire qualcosa nelle regole locali: non delineare il tuo testo generato dalle macchine è un’infrazione segnalabile.
Mettere il testo generato dalle macchine all’interno di un meccanismo simile a uno spoiler consente anche all’autore di aggiungere commenti o descrizioni: potrebbero includere il testo perché è divertentemente sbagliato, o educativamente sbagliato, o perché è utile.
La questione dei futuri modelli linguistici addestrati in parte sugli output di modelli linguistici più vecchi… questo è probabilmente un grosso problema, più grande dei tag spoiler.
Il mio pensiero è che si tratti di un problema di moderazione. Alcuni testi sembrano sospetti e, dopo opportune verifiche, vengono contrassegnati come “generati da macchina ma non etichettati come tali” o come “probabile spam”.
Credo di aver capito che alcune persone stiano cercando di creare servizi in grado di rilevare testi generati da macchine, ma non so quanto siano efficaci o quanto costeranno. Nel mondo dell’istruzione, si tratta di imbrogliare, e ci sono motivazioni per rilevarlo.
4, 6, 4, 5