Anche noi stiamo faticando con questo problema: individuare i contenuti generati dall’IA è sempre più difficile, soprattutto se le persone utilizzano strumenti come Humanizer che aiutano a evitare i tipici segnali dell’IA.
Dal punto di vista della gestione della community, ho la sensazione che permettere l’uso di chatbot sul tuo forum svuoti l’anima della tua community: se le persone volessero parlare con un’IA, l’avrebbero già fatto. Sono qui perché vogliono parlare con un essere umano.
Non abbiamo ancora trovato una soluzione; abbiamo fatto alcuni test con rilevatori di IA, ma è un gioco del gatto e del topo e producono anche troppi falsi positivi. Per ora, abbiamo implementato una policy del forum (che inizieremo a comunicare più fortemente a breve) e ci affidiamo all’aiuto dei nostri moderatori della community per individuare, verificare e pulire i contenuti.
Ma francamente, è esaustante, e a volte mi preoccupo per il futuro delle nostre community se verranno invase dai bot.
Questo è un motivo che mi porta ad evitare di partecipare alle comunità dei subreddit. Ci sono altri motivi e non sono mai stato molto attivo su Reddit, ma al giorno d’oggi è così infestato da bot che mi allontana ancora di più dal pubblicare.
Questo mi ricorda molto la situazione delle email alla fine degli anni '90 e all’inizio degli anni 2000. Come amministratore di sistema di una piccola agenzia di design, il personale aveva iniziato a utilizzare le email nel corso del loro lavoro e lo spam era così prolifico che rendeva le email quasi inutilizzabili. In quei giorni era come giocare a schiacciare le talpe con lo spam.
Come fu portato sotto controllo? L’uso dell’IA seguirà alla fine un percorso simile? Ci vorranno decenni?
Al momento, questo sembra essere l’unico modo per gestirlo: ci sono troppe variabili per rilevare i contenuti generati dall’IA con un certo grado di affidabilità, e chiunque affermi il contrario sta vendendo fuffa. I tentativi pigri sono più facili da individuare, ma altrimenti dobbiamo giudicare ogni messaggio in base al merito del suo contenuto, senza cercare di indovinare come sia stato scritto.
L’idea che solo gli strumenti di scrittura AI utilizzino il trattino lungo mi sembra ancora strana. Gli esseri umani hanno scritto con quel segno prima dell’avvento dell’IA.
L’uso dell’IA è presente nelle nostre linee guida da tempo; il problema era un numero crescente di utenti, solitamente nuovi, che la utilizzavano non solo per rispondere agli altri, ma per creare discussioni eccessivamente strutturate e formali, più simili a una tesi che a una vera comunicazione. Questo influiva sul tono del sito e sul coinvolgimento degli utenti. Moderare diventava sempre più un processo che richiedeva molto tempo per un team piccolo, e alcune persone non apprezzavano affatto la moderazione, rendendo l’ambiente sgradevole e propenso alle discussioni. Ho deciso di creare un agente IA su Discourse (basato su GPT 5.5) e di utilizzare un’automazione per scansionare la creazione di discussioni da parte dei nuovi membri nelle categorie chiave, valutando la presenza di segni di generazione da parte dell’IA. Questo attiva un segnalazione automatica e una spiegazione gentile sul motivo della segnalazione, con riferimenti alle linee guida e alcuni consigli per un migliore coinvolgimento. I moderatori possono comunque liberare una segnalazione errata o un caso borderline. È risultato molto accurato e ha favorito il comportamento corretto utilizzando molto meno tempo ed evitando conflitti.
Permettiamo lo scraping con limiti di frequenza alle principali aziende tecnologiche, ma abbiamo inserito nel blacklist il resto, responsabili di un numero enorme di connessioni che ci avevano fatto superare i limiti di utilizzo. Come per la maggior parte dei cattivi attori su un sito, tende a essere un piccolo numero di persone che consumano in modo sproporzionato tempo e risorse.
È un problema enorme. Non incentivano l’interazione e leggere questa roba è come cercare di camminare nel miele: è noioso, scoraggiante e raramente appropriato o necessario.
Molte persone faticano a esprimere il loro punto in modo conciso, e l’IA ha creato un problema di comunicazione ancora peggiore.
Quello che fanno questi utenti non è mostrare considerazione per il lettore.
Dobbiamo introdurre un controllo sulla lunghezza massima dei post?
Non stai rilevando se il problema di base, i dettagli tecnici, il codice, i log, le informazioni sull’ambiente, gli screenshot, la configurazione o la cronologia di risoluzione dei problemi siano reali. Possono essere reali e forniti da un essere umano.
Stai rilevando se il post finale del forum sembra essere stato modellato dall’IA.
Un post può essere AIISH anche quando:
I fatti tecnici sono specifici e accurati
Il contesto si basa chiaramente su un problema umano reale
Il codice, i log, gli stack trace, la configurazione o i messaggi di errore sono genuini
L’autore ha vissuto personalmente il problema
L’IA ha solo aiutato a riscrivere appunti grezzi in un post più chiaro
Classifica come AIISH quando il post finale mostra segni di presentazione assistita da IA, tra cui ma non limitato a:
Un linguaggio eccessivamente raffinato, formale, neutro o simile a un rapporto per un forum tecnico informale
Una suddivisione chiara in sezioni con intestazioni come Riepilogo, Contesto, Ambiente, Problema, Comportamento Atteso, Comportamento Reale, Passaggi Effettuati, Risoluzione dei Problemi, Domande o Conclusione
Uno stile simile a un ticket di supporto o un report di bug che sembra generato o pesantemente riscritto
Una spiegazione insolitamente completa e ordinata
Un riassunto conciso seguito da dettagli metodici
Elenco puntato che organizza il problema in modo troppo ordinato
Una formulazione equilibrata o simile a un tutorial piuttosto che una domanda naturale del forum
Eccessiva cortesia, neutralità o linguaggio di chiusura generico
Frasi come “Ogni indicazione sarebbe apprezzata”, “Sto cercando di capire”, “Ecco cosa ho provato”, “Per contesto”, “Il problema è che” o simili connettivi raffinati
Un tono che sembra modificato per chiarezza, completezza e professionalità oltre il comportamento normale del forum
Ripetizione della stessa idea in diverse forme raffinate
Un post che sembra appunti umani grezzi convertiti in una richiesta di supporto pulita
Classifica come OK quando il post sembra esclusivamente umano, tra cui ma non limitato a:
Un linguaggio informale, diretto, conciso, disordinato o irregolare
Contesto incompleto o organizzazione imperfetta
Transizioni brusche
Errori di battitura, abbreviazioni, frustrazione, incertezza o formulazioni informali
Una domanda tecnica pratica senza una cornice raffinata
Comportamento naturale del forum come “questo si è rotto”, “cosa mi sto perdendo”, “qualcuno ha visto questo” o “perché succede questo”
Dettagli tecnici presentati in modo semplice senza eccessiva sintesi o struttura formale
Regole di calibrazione:
Se l’assistenza dell’IA è più probabile che non, restituisci AIISH.
Se il post è tecnicamente dettagliato ma insolitamente ben strutturato, raffinato, formale o completo, restituisci AIISH.
Se il post sembra una versione ripulita degli appunti tecnici grezzi di un umano, restituisci AIISH.
Se il post è ambiguo ma ha un’organizzazione o un tono evidenti stile IA, restituisci AIISH.
Se il post è ambiguo e manca di chiari segni di raffinamento stile IA, restituisci OK.
Non classificare come AIISH solo perché il post è lungo, tecnico, accurato o ben scritto.
Non classificare come OK solo perché il problema è reale o contiene dettagli tecnici specifici.
Penso che si dovrebbe evitare consapevolmente di usare il trattino lungo, per dimostrare in qualche modo di essere umani
Ho recentemente risposto a un breve post su LinkedIn, sfidando l’autore perché aveva usato un trattino lungo: ovviamente non ho mai ricevuto una risposta, perché ovviamente il post era stato creato da un bot che si fingeva umano… e chiaramente il bot non era stato programmato per gestire l’avversità o le provocazioni
Il nostro Discourse, focalizzato sull’arte, ha una politica di divieto all’IA e finora è stata accolta piuttosto bene. Questo era in un certo senso prevedibile da parte di una comunità artistica. Per le immagini, abbiamo applicato un divieto rigoroso fin dall’inizio. In seguito, abbiamo esteso le regole a tutti i contenuti generati, inclusi testo e codice (con un’eccezione per le semplici traduzioni, per non penalizzare i non anglofoni solo per non parlare la lingua). Quando il divieto è stato esteso al codice (come i plugin per il software di pittura), si è scatenato un piccolo dibattito, ma principalmente da parte di poche persone. Nel nostro caso, è anche in un certo senso prevedibile vietare l’IA e prendere posizione contro di essa, dopo tutti i danni che ha causato alla comunità artistica nel suo complesso. Ogni tanto, i creatori di plugin si lamentano, ma noi diciamo loro che possono fare quello che vogliono, purché non lo pubblichino sul nostro forum, e loro per lo più accettano. A volte ricevi la solita minaccia del tipo “il vostro software rimarrà indietro se non permettete questo”, cercando di intimidirci, sfruttare la paura di essere tagliati fuori (FOMO) o farci sentire in colpa per invertire la regola, ma per lo più il clima è tranquillo.
Per quanto riguarda la moderazione, ci affidiamo principalmente alla nostra comunità. Abbiamo una segnalazione aggiuntiva per denunciare i contenuti generati dall’IA. Quando si tratta di verificare, non vogliamo creare una comunità basata sulla sfiducia e sul sospetto, quindi assumiamo che tutti siano innocenti fino a prova contraria e, quando non riusciamo a dimostrare con certezza che qualcosa sia generato dall’IA, il contenuto può normalmente rimanere. Non vogliamo trasformare la cosa in una caccia alle streghe e bannare accidentalmente un utente completamente innocente solo perché la sua opera d’arte sembra generata dall’IA, quando in realtà è il contrario.
Fortunatamente, spesso gli utenti dell’IA prima o poi si scoprono da soli, dimenticando di rimuovere la filigrana del generatore, lasciando nel nome del file qualcosa come “immagine generata da Gemini”, oppure perché lo stile o la qualità variano drasticamente.
Poiché l’utilizzo è molto specifico per nuovi utenti base e per la creazione di nuovi argomenti, non è in esecuzione costante, quindi il costo è di 1-2 dollari al mese.
Ho appena modificato la configurazione a 5.6 terra, che ha un costo significativamente più basso.
Mi sono imbattuto in questo articolo e ho ricordato questa risposta qui su Meta. Concordo con entrambi — anzi, essendo lo spagnolo la mia lingua madre, ho iniziato a usarlo.
