Mi piacerebbe conoscere le esperienze dei gestori di forum che non consentono contenuti generati da AI/LLM. Come avete fatto a comunicare questa policy agli utenti? Come rilevate questi contenuti? Come vi comportate con gli utenti che li pubblicano comunque?
Accogliamo con favore qualsiasi contributo.
Nota: personalmente, mi interessa solo l’aspetto umano delle interazioni front-end sul sito. Presumo che bloccare i crawler sia una battaglia persa.
Il nostro forum è dedicato a discussioni di natura spirituale e religiosa. Bandiamo qualsiasi contenuto generato da IA.
La maggior parte, se non tutta, del testo generato dall’IA può essere facilmente rilevata semplicemente leggendolo. La tecnologia SynthID di Google è interessante per il rilevamento di immagini generate dall’IA e sostiene di essere in grado di rilevare anche il testo, probabilmente scritto solo da Gemini, ma anche OpenAI supporta lo standard. Essere in grado di rilevare personalmente il testo è probabilmente una competenza acquisita, ma apprezzo il lavoro svolto per rispondere alla crisi attuale che abbiamo riguardo alla mancata capacità di rilevare immagini o testo generati dall’IA.
Il silenziamento o le sospensioni sono ancora, secondo me, la strada giusta da seguire, soprattutto se l’account è nuovo. Se un nuovo account a caso si iscrive al tuo sito e pubblica immediatamente un argomento generato dall’IA, non vedo motivo per cui non dovresti semplicemente sospendere l’account e bloccarlo.
Per quanto riguarda il dilemma dello scraping: il mio sito è attualmente utilizzato per la comunicazione interna e la documentazione all’interno di una piccola azienda e ho intenzione di usarlo come backend per il blogging in futuro. Non è stato difficile configurare un honeypot per scoraggiare i crawler che scelgono di ignorare i file robots.txt sui miei domini.
Ogni volta che un crawler dell’IA visita detto sito, viene guidato in un labirinto infinito di spam utilizzando il progetto iocaine self-hosted con un dataset di circa 7000 parole inventate, alcuni HTML spazzatura, parole casuali e notizie false generate da Llama 8B.
Ovviamente questa è una tattica nucleare di “vai via” e non è adatta a tutti, ma è stata ottima per me nel mio obiettivo di impedire che i LLM rubino il mio codice o i miei contenuti testuali. Ricordo di aver letto uno studio di caso condotto da Anthropic sull’avvelenamento dei LLM, ma non riesco più a trovare l’articolo, quindi non lo allego qui, ma sicuramente in qualche momento dovranno bloccare il mio dominio quando si renderanno conto che il bot ha inviato circa 5 milioni di richieste al mio dominio di recente.
(Noto che stiamo mettendo da parte la questione del carico sui crawler, dei crawler che prelevano contenuti per l’addestramento e delle conseguenze sociali ed economiche degli attuali rapidi sviluppi. Questo è un bene.)
Per quanto mi riguarda, in un sito hobby a basso traffico,
stiamo cercando di concordare e formulare una politica scritta
gestiamo le cose man mano che si presentano
gli esempi più eclatanti sono essenzialmente spam, quindi li eliminiamo e banniamo
altrimenti, contestiamo, forse pubblicamente e forse privatamente, e potremmo eliminare i post
Una forma suggerita di guida potrebbe assomigliare a questa:
Possedere" i contenuti dei messaggi che pubblichi (cioè leggere e comprendere, e non copiare e incollare acriticamente contenuti, indipendentemente dalla loro origine).
Cercare di rispondere da solo alle tue domande nel miglior modo possibile prima di aprire nuove discussioni (ad esempio cercando nel forum).
Comunicare i dettagli in modo conciso in modo che altri utenti possano leggere e comprendere per aiutare, cioè evitare lunghi muri di testo ripetitivo o irrilevante, o affermazioni troppo generiche senza informazioni sufficienti.
Mantenere le discussioni pertinenti all’argomento, evitare discussioni meta (in particolare sull’uso dell’IA - che si tratti di “migliori pratiche” o “etiche ad esse connesse”).
Mantenere i conversazioni rispettose e ricordare che abbiamo utenti con background, visioni e opinioni diversi.
Divertiti! Questo dovrebbe essere un hobby.
(Nel nostro ambiente hobby, c’è un’ulteriore angolazione, che è l’uso di LLM all’interno dell’hobby, che copre uno spettro di possibilità e ha sia i suoi entusiasti che i suoi detrattori.)
Questo esempio non riguarda Discourse, ma le questioni di policy e governance si sovrapporrebbero certamente.
Sia la versione inglese che quella tedesca di Wikipedia hanno ora ciò che io definirei politiche estreme di purezza dall’IA. Come editore con 16 anni di esperienza, sono stato ingiustamente accusato di aver aggiunto contenuti generati dall’IA a un articolo che ho scritto prevalentemente io. E il processo per cercare un rimedio è stato logorante. Ciò include la presentazione di reclami formali al comitato ArbCom di Wikipedia EN e al team Trust and Safety della Wikimedia Foundation (WMF TST) – finora respinti sommariamente o rifiutati senza motivazione, rispettivamente.
Non voglio raccontare qui le mie esperienze, anche perché sono in corso. Tuttavia, incoraggerei i lettori qui a leggere questo straordinario scambio riguardante l’articolo di Wikipedia EN su Fern Cave, un sito di significato culturale per il popolo Modoc della California:
L’autore in questione ha dovuto negare di aver utilizzato l’IA quattro volte. Le sue conoscenze indigene sono state anch’esse sminuite nel processo. L’editore che applica le regole conclude con un commento che assomiglia a una preoccupazione, ma che può essere letto altrettanto bene come una minaccia velata di sanzione se non si cede.
Tattiche psicologiche come queste vengono regolarmente impiegate dagli editori che applicano le regole e ho prove di altri esempi.
Se osservate il markup sorgente in quello stesso scambio, troverete una trappola honeypot con font-size: 0pt impostata per tentare di rilevare l’uso dell’IA da parte dell’autore accusato durante la formulazione delle risposte. Questa trappola non è scattata.
Ci sono resoconti credibili di diversi editori che hanno abbandonato Wikipedia DE dopo essere stati «ingiustamente attaccati» per il loro presunto uso di strumenti di IA.
Per rispondere alla domanda originale posta in questo argomento, sostengo che Wikipedia EN e DE stiano fallendo gravemente nella loro governance in molteplici modi nei loro tentativi di gestire i contenuti generati dall’IA. Ho documentato tre studi di caso nel mio recente rapporto di 17 pagine inviato al team WMF TST. Potrei rendere pubblico quel PDF in futuro?
Sono fermamente in disaccordo, alla luce delle mie esperienze su Wikipedia EN (dettagliate altrove su questo argomento). Suggerisco che questo approccio sia per lo più pseudoscienza mescolata a hybris. Ancora più significativo, tale rilevamento non può essere confutato — e infatti gli editori responsabili di Wikipedia, spesso lavorando di concerto, si aggrappano semplicemente alle loro posizioni di fronte alle sfide.
L’editore accusato si trova con un onere della prova invertito e con accuse che semplicemente non sono falsificabili — anche alla luce delle prove più convincenti del contrario. La giustizia naturale svanisce. Non è il tipo di governance comunitaria che di solito funziona.
Lo so. Sono stato soggetto a questo processo in prima persona. È brutto. Deve esserci un modo migliore.
Lettura interessante, soprattutto il secondo articolo mi ha aperto gli occhi quando l’ho letto per la prima volta. Credo che questo si applichi in parte anche a te, @robbie.morrison. Alcune persone “scrivono semplicemente così”.
E sono giunto a questa tesi: non scrivo come ChatGPT. ChatGPT, nel suo strano modo smaterializzato e basato su fonti globali, scrive come me. O, più precisamente, scrive come milioni di noi che sono stati inseriti in un percorso educativo e sociale molto particolare, un percorso progettato deliberatamente per levigare via l’ambiguità e forgiare i nostri pensieri in una forma molto specifica, molto formale e molto impressionante.
Sì, il pregiudizio contro i non madrelingua inglesi è una delle mie maggiori preoccupazioni.
Anche se non si tratta della community Discourse, questa è una lettura interessante: Rules Roundtable XXI.V: Plagiarism, Integrity, and Generative AI. Proviene dal subreddit AskHistorians. Per chi non lo conoscesse, si tratta probabilmente di una delle community più severamente moderate su Reddit. Fondamentalmente, permettono solo risposte di livello accademico alle domande.
Il subreddit AskHistorians mantiene ancora un pregiudizio del tipo “sparare per primo”, seguito da un’onere della prova inverso per l’accusato (ma certamente con più garanzie processuali rispetto a Wikipedia/Wikimedia):
Se non dichiari di aver utilizzato l’IA per generare una risposta e sospettiamo che tu possa starla usando in modo violativo delle regole, riceverai un ban. Tuttavia, a tutti coloro che sono stati bannati per uso di IA viene spiegato come presentare un ricorso. Può sembrare severo, ma una parte della nostra giustificazione è portare le persone alla modmail così da poter avere una discussione ed evitare un’esposizione pubblica che può portare a un attacco coordinato.
Forse questa è l’unica strategia praticabile al momento? Ma di certo non è giustizia naturale.
Commetto troppi errori per essere scambiato erroneamente per un’intelligenza artificiale
Stranamente, ho notato di essere più incline di prima a non correggere volontariamente i piccoli errori che rilevo nei miei post (anche in francese, la mia lingua madre). Ho la sensazione che lasciare quelle imperfezioni renda ciò che scrivo più autentico e con più personalità. Le persone potrebbero potenzialmente riconoscere un messaggio come mio proprio a causa di quegli errori o di frasi scritte in modo strano. Inoltre, è meno stancante dal punto di vista mentale non cercare di rendere perfetto tutto ciò che scrivo (qualunque cosa significhi “perfetto”).
La mia comunità non è ancora molto attiva, ma tengo molto a non permettere alle persone di pubblicare contenuti generati da LLM. Per il momento, non ho problemi con i crawler e vorrei che avessimo un bot LLM o messaggi di sistema LLM, ma non voglio che i membri pubbichino il loro scarto di ChatGPT (abbiamo una grande quantità di documentazione curata a mano che vogliamo le persone utilizzino).
Sarà nelle regole e la « modereremo » quando la vedremo, ma sono interessato al segnalazione automatica e ad altre strategie.
