Blocca "Help Me Write" di Google

Ho appena visto che Google ha rilasciato una funzionalità che incoraggia gli utenti di Chrome a usare l’IA per scrivere contenuti sul Web. :confounded:

Penso che abbia il potenziale per distruggere l’utilità delle comunità online. Gli utenti non potranno fidarsi del fatto che non stanno comunicando con un bot gestito da qualcuno che preme pulsanti nel proprio browser ma che in realtà non ha nulla da dire.

Forse potrebbe essere rilevato monitorando se il testo viene inserito dal browser o digitato dall’utente? Se non viene rilevato alcun copia-incolla, ma l’editor si riempie improvvisamente di testo, è probabile che sia generato dall’IA.

Se un post è generato dall’IA, forse potrebbe ricevere una bandiera speciale ed essere opzionalmente trattenuto per la moderazione? Gli amministratori potrebbero vedere quanti post un utente pubblica che sembrano generati dall’IA. Sto solo pensando ad alta voce.

12 Mi Piace

C’è già un rilevatore di "digitazione troppo veloce" che dovrebbe intercettare il copia e incolla?

Per quanto riguarda l’analisi del contenuto effettivo, lascio questo qui:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text

" A partire dal 20 luglio 2023, il classificatore AI non è più disponibile a causa del suo basso tasso di accuratezza. Stiamo lavorando per incorporare il feedback e stiamo attualmente ricercando tecniche di provenienza più efficaci per il testo, e ci siamo impegnati a sviluppare e implementare meccanismi che consentano agli utenti di comprendere se contenuti audio o visivi sono generati dall’AI. "

Non sono a conoscenza di alcuna sostituzione.

Questo è un problema difficile.

8 Mi Piace

Lo strumento esistente potrebbe bloccarlo in moderazione, ma gli amministratori non saranno in grado di distinguere un copia e incolla (solitamente uno spammer) dall’IA inserita dal browser (un nuovo tipo di problema con motivazioni diverse). Non ci sarà modo di vedere una cronologia di quante volte un utente inserisce contenuti nel forum da Chrome o da un’estensione del browser, il che renderebbe più facile individuare gli utenti che non scrivono i propri contenuti.

Sto immaginando utenti la cui motivazione per contribuire è ottenere visibilità online o una sorta di “punti”. Sono dipendenti dalla lettura ma hanno solo osservato per anni. Questo strumento di IA li incoraggia a scrivere qualcosa dove altrimenti si sarebbero accontentati di leggere tranquillamente.

Penso che se questa funzionalità inizierà ad essere utilizzata ampiamente, ci sarà un graduale deterioramento della qualità dei contenuti nei forum. Come minimo, si avrà la sensazione generale che “la qualità dei forum non è più quella di una volta”.

Quel declino è già avvenuto per il Web in generale, e molte persone ora aggiungono “reddit” alle loro ricerche, perché stanno cercando di evitare lo spam SEO e gli articoli generati dall’IA.

Se questa funzionalità diventerà popolare, anche la moderazione diventerà più difficile poiché ogni post bloccato dal filtro “l’utente ha digitato troppo velocemente” dovrà essere esaminato attentamente per vedere se è generato dall’IA. I moderatori non saranno in grado di determinare rapidamente se “questo è stato incollato” (potrebbe essere stato scritto in un editor di testo e copiato) o “questo è stato inserito da Chrome o da un’estensione” (probabilmente IA). Se una cronologia del numero di post inseriti per ciascun utente fosse anche visibile agli amministratori, potremmo prendere quelle decisioni di moderazione più facilmente.

1 Mi Piace

Se qualcuno qui ha accesso a quella funzionalità, potrebbe spiegare o dimostrare che tipo di output fornisce.

1 Mi Piace

Ecco uno screenshot. Apre una casella. Dici cosa scrivere e, se fai clic su “Inserisci”, viene inviato all’editor. Gli ho chiesto di scrivere un post lungo, ma ha scritto solo un paragrafo.

Normalmente non uso Google Chrome, ma quando l’ho avviato per controllare un sito, una scheda si è aperta automaticamente per pubblicizzare la nuova funzionalità.

2 Mi Piace

Se viene inviato all’editor all’istante, dovrebbe attivare il flag per la coda di revisione, proprio come se fosse copiato e incollato da un’altra fonte.

1 Mi Piace

Potrebbe andare in moderazione, ma non c’è ancora modo di distinguere le diverse motivazioni degli utenti.

Sto solo suggerendo che, se le persone iniziano a usare questa funzionalità e a pubblicare utilizzando l’IA, un paio di strumenti aggiuntivi renderebbero più facile proteggere i forum da essa:

  • Inviare il post in moderazione, anche per gli utenti fidati (o almeno contrassegnarlo per essere revisionato da un essere umano dopo la pubblicazione).
  • Contrassegnare l’inserimento di testo da strumenti di IA in modo diverso dal copia/incolla.
  • Mantenere un conteggio progressivo per ogni utente sul numero di volte in cui ha inserito testo nell’editor. Un utente di lunga data che utilizza la funzionalità una volta non dovrebbe essere un grosso problema, ma essere in grado di rilevare uno schema di inserimento di testo sarebbe utile.

Non sono riuscito a trovare la documentazione, ma sospetto fortemente che lo “strumento AI” utilizzi l’API Clipboard del browser, quindi un sito Web non sarà in grado di distinguere l’origine del testo.

1 Mi Piace

È piuttosto esilarante. Google dovrebbe fornire un modo per bloccarlo su un sito web o un dominio, simile al modo in cui Smart Compose può essere disattivato per Google Docs.

Sono favorevole all’uso dell’IA come assistente di scrittura, ma non in quel modo.

2 Mi Piace

Potrebbero esserci ancora differenze rilevabili: per incollare, il cursore deve entrare nell’area di testo e premere tasti o fare clic con il pulsante destro del mouse, ma per inserire contenuto, non fa queste cose. (Modifica: per utilizzare la funzione fai clic con il pulsante destro del mouse una volta. Poi c’è una pausa mentre usi lo strumento. Poi avviene l’inserimento.)

Anche se non fosse rilevabile, sarebbe utile tenere un conteggio di quali utenti copiano/incollano e quanto spesso. Altrimenti i moderatori passeranno molto tempo a cercare di analizzare i post e gli utenti discuteranno con loro su cose per cui non hanno prove se non un presentimento. La moderazione è già un compito estremamente opprimente.

Grazie per l’illustrazione @j127

Per la mia community, vorrei continuare a permettere a chiunque di utilizzare strumenti di traduzione, nel caso in cui non si senta sicuro in inglese, ma non voglio post insipidi e inconsistenti generati dall’IA. Nel mezzo, potrebbero esserci post che la persona ha sentito di voler rifinire usando uno strumento di IA - è comune di questi tempi che le persone usino questi strumenti per migliorare una lettera di presentazione o un documento o una presentazione. Penso che probabilmente vada bene.

Ciò che conta per me è la qualità del post: aggiunge qualcosa alla discussione, esprime le opinioni, l’esperienza o la conoscenza del poster.

Penso che la mia difesa, oggi, sia duplice

  • essere vigili che questo tipo di cose possa accadere
  • eventualmente, pubblicare delle linee guida (o regole) che indichino qual è la posizione, in modo che i contenuti offensivi possano essere moderati senza troppa sorpresa.

Mi sembra improbabile che una difesa automatica sia efficace, soprattutto con il miglioramento degli strumenti di IA.

5 Mi Piace

Assolutamente d’accordo. Esiste già un’enorme varietà di modelli di intelligenza artificiale, variazioni su come vengono addestrati i modelli e infinite variazioni nei prompt che un utente può fornire per generare output. Qualsiasi strategia per rilevare contenuti generati dall’IA fallirà molto rapidamente.

3 Mi Piace

Il metodo che ho suggerito non si basa su come vengono generati i contenuti dell’IA. Misura il modo in cui i contenuti vengono inseriti nella pagina e la tempistica delle interazioni dell’utente. Lascia le decisioni finali ai moderatori, che avrebbero maggiori informazioni per prendere le loro decisioni. Non coglierebbe tutto, ma coglierebbe molte cose.

Nel mio forum principale, gli spammer spesso creano account e pubblicano per molto tempo, fingendo di essere utenti normali. A volte gli account hanno uno o due anni prima di iniziare a inserire link di spam. Non pubblicano nulla di interessante, ma non violano nemmeno alcuna regola, quindi non possono essere bannati subito. Non c’è abbastanza tempo per parlare con loro individualmente per vedere se sono utenti legittimi. Questo è un gruppo di cui sono preoccupato.

Potrebbe essere che questa funzionalità di Google Chrome non decolli, ma c’è il rischio che abbia un enorme effetto negativo sui forum in generale, aumentando il carico di moderazione e abbassando la percezione del loro valore da parte del pubblico a causa di un aumento di contenuti IA vuoti che sono appena sufficientemente borderline da passare.

Se decolla, non ci sarà modo di distinguere un post di IA da un utente che non scrive molto bene ma che è ancora nell’intervallo di contenuti accettabili, e cercare di prendere quelle decisioni di moderazione senza dati potrebbe trasformarsi in un onere opprimente per gli amministratori. Se un moderatore prende una decisione sbagliata o la persona accusata mente sull’uso dell’IA, ciò potrebbe portare a conversazioni estenuanti con gli utenti.

Potrebbe essere troppo presto per aggiungere una funzionalità per difendersi dal problema, ma spero che Discourse lo terrà d’occhio.

Stiamo tenendo d’occhio molto attentamente questo spazio.

Abbiamo bisogno di sentire storie di successi e fallimenti dalle comunità per aiutarci a decidere le strategie.

C’è una gamma così vasta qui:

  • Correttore ortografico/di formulazione+++ … dovrebbe essere vietato? Se l’IA rende la mia scrittura un po’ più chiara, è davvero un crimine che abbia rimosso qualcosa.
  • Storie multilingue … non sarebbe bello se potessero emergere veri forum multilingue? Non tutti parlano un inglese super spettacolare.
  • È un crimine avere un compagno di brainstorming a cui sottoporre idee prima di pubblicare.

Penso che ci sia del merito nel migliorare la moderazione … di sicuro. Un sistema di bandiere gialle / arancioni / rosse potrebbe essere interessante … di sicuro.

5 Mi Piace

La mia obiezione all’aiuto alla scrittura AI di Google è la sua interfaccia utente. Sta generando una risposta e visualizzando un grande pulsante “Inserisci”. Il modo non pigro di usare l’AI come strumento di scrittura è conversare con essa su ciò che stai scrivendo.

2 Mi Piace

Sì, sono molto d’accordo. Potremmo avere rilevatori di IA, ma perché ci sono voluti 15 minuti perché qualcuno segnalasse una guida generata dall’IA* (sul forum da cui provengo)? Potrebbe essere disabilitata, ma rende vano il duro lavoro delle persone a causa dell’IA. Infatti, abbiamo avuto 2 incontri con guide generate dall’IA e un utente umano-IA.

*

Su quel forum, abbiamo avuto brutti incontri con l’IA a giugno, e la maggior parte di noi crede nel fare le cose da soli (più specificamente, scrivere guide).

1 Mi Piace

Grazie per averci tenuto d’occhio.

Non sono contrario all’IA, solo ai contenuti generati dall’IA che vengono spacciati per scritti da un essere umano.

Nel mio forum principale, la mia regola sui contenuti dell’IA è che va bene pubblicare idee da strumenti come ChatGPT purché sia chiaramente indicato che provengono da ChatGPT. Le persone possono pubblicare alcuni output di ChatGPT che diventano la base di una conversazione tra esseri umani. Tuttavia, i commenti dei robot che si mascherano da esseri umani non sono ammessi.

Penso che estensioni come Grammarly siano attivate per siti Web specifici e quindi funzionino sul testo già digitato direttamente nelle aree di testo, quindi non verrebbero rilevate come inserimento di IA.

Se qualcuno utilizza un’app separata per il controllo grammaticale invece di un’estensione del browser, verrà rilevata un’interazione come ctrl-v (o command-v, o clic destro e incolla), che la distinguerà dall’inserimento diretto di IA.

Sembra che sarebbe l’ideale se le persone scrivessero contenuti nelle proprie lingue e poi l’IA in esecuzione nel forum facesse le traduzioni. La tecnologia di traduzione continuerà a migliorare, quindi far postare gli utenti nelle loro lingue madri probabilmente porterebbe a contenuti tradotti migliori a lungo termine.

Penso che gli utenti che inseriscono contenuti di IA in lingue straniere probabilmente renderanno ancora più utile sapere se il contenuto è stato inserito con uno strumento di IA. Al momento, di solito non è difficile rilevare contenuti di ChatGPT in inglese semplicemente leggendoli, ma i contenuti generati dall’IA in altre lingue probabilmente non saranno rilevabili, se non monitorando le interazioni degli utenti con la pagina.

Mi chiedo se le persone che lo fanno siano una percentuale molto piccola di utenti di IA. Se qualcuno sta facendo brainstorming con l’IA in un’altra finestra e poi incolla del testo, i tasti/clic sarebbero rilevabili. Lo strumento di Google non fa brainstorming ma genera semplicemente contenuti automaticamente.

Il rilevamento del testo AI, ovvero la capacità di distinguere il testo scritto da macchine da quello scritto da esseri umani, dipende da diversi fattori, tra cui la lingua. L’inglese è da tempo al centro della ricerca e dello sviluppo dell’IA, il che significa che i modelli in lingua inglese sono stati addestrati di più e sono spesso più sofisticati. Ciò può portare il testo AI in lingua inglese ad essere più fluente e più difficile da percepire rispetto ad altre lingue.

D’altra parte, man mano che i modelli AI si evolvono e vengono addestrati su dati multilingue, la loro capacità di produrre testo credibile in altre lingue migliora. Modelli multilingue, come GPT-3 e i suoi successori, hanno dimostrato la loro capacità di produrre testo fluente in più lingue. Ciò significa che il divario nella difficoltà di rilevare il testo generato dall’IA in diverse lingue potrebbe ridursi nel tempo.

Il rilevamento del testo AI dipende anche da altri fattori, come il contesto del testo, la complessità dell’argomento e la capacità del lettore di riconoscere espressioni innaturali o schemi ripetitivi nel testo. Inoltre, caratteristiche specifiche della lingua, come grammatica e vocabolario, possono influenzare la facilità o la difficoltà di riconoscere il testo generato dall’IA.

Sì, quello era generato dall’IA e all’inizio in finlandese. La versione finlandese era facile da rilevare manualmente, perché nessuno parla così. Altrimenti era perfetto, ma il tono era strano.

Poi l’ho passato tramite deepl per ottenere la versione inglese. Anche io vedo subito che c’è un’alta probabilità che sia scritto dall’IA.

Il mio punto debole è che quando ogni soluzione AI è ugualmente incapace di creare testi che possano ingannare i lettori madrelingua, allora l’IA è totalmente inoffensiva nel distinguere la differenza.

(E sono un po’ confuso sul perché sia così scadente, anche in inglese)

Quindi cosa rimane? Il rilevamento di copia-incolla già menzionato, per esempio.

Non mi interessa quanto errori grammaticali faccio o quanto storpio le preposizioni, normalmente mi capisci abbastanza bene, ma a volte può esserci una situazione in cui voglio o ho bisogno di scrivere in un inglese il più pulito possibile. Allora posso chiedere all’IA di correggere il mio testo e usarlo, o a deepl, per tradurlo in inglese.

Cosa pensi di come ho ottenuto quel testo qui :smirking_face: Esatto. E se a quel punto qualche altro sistema automatico mi dicesse che il mio testo è stato segnalato a causa di ctrl-v perché

  • L’ho tradotto da qualche altra parte
  • Ho creato quel testo usando PM qui come consigliato

Sarei davvero incazzato.

Di nuovo, sono solo un altro utente finale ma non vedo come possiamo vincere questa partita. Stesso tipo di problema delle immagini AI.

A volte ci troviamo a cercare soluzioni tecniche a problemi sociali. Il problema sociale qui è la scarsa qualità dei contributi: una policy supportata dall’azione dei moderatori dovrebbe funzionare… tranne per il problema della scala.

Gestisco piccoli forum, quindi non è un mio problema. Un piccolo forum può diventare un grande forum, sarebbe possibile permettere che ciò accada senza aumentare la moderazione e il flagging degli utenti. I tuoi utenti devono essere attenti ai contenuti di scarsa qualità e i tuoi moderatori devono agire sui flag.

Penso - spero - che possiamo evitare di essere inondati da post di IA senza perdere la capacità delle persone di utilizzare la traduzione automatica. Non abbiamo bisogno di un successo al 100% - dobbiamo mantenere i contenuti del nostro forum a un livello di qualità che funzioni per gli utenti, in modo che le persone continuino a tornare, a contribuire e ad aiutare con il flagging.

2 Mi Piace

Non sarà facile rilevarlo solo da singoli post, motivo per cui ho suggerito di tenere statistiche su quanto spesso gli utenti lo fanno — possibilmente tramite cose come ctrl-v, clic destro, focus della scheda e inserimento di testo (punteggi separati). L’obiettivo sarebbe vedere i pattern degli utenti, in modo che quando si tratta di affrontarli, ci siano prove invece di semplici supposizioni.

Le decisioni finali di moderazione sarebbero comunque prese da esseri umani, ma la differenza principale è che quegli esseri umani avrebbero più dati per prendere quelle decisioni in modo più rapido e accurato. Non tutti i casi necessitano di essere affrontati, ma alcuni sì.

Potrebbero esserci modi per rilevare diversi tipi di motivazioni. Un post in cui il compositore è aperto per molto tempo, e ci sono molti paste dopo che la scheda perde il focus, probabilmente non è un’iniezione di testo AI.

I dati che Discourse fornisce hanno già reso le decisioni di moderazione molto più facili — anche solo cose basilari come la posizione dell’indirizzo IP, combinata con il nome utente, il contenuto del primo post, se hanno digitato troppo velocemente, typing_duration_msecs, composer_open_duration_msecs, ecc.

Penso che qualche campo in più lì sarebbe utile, se la funzionalità di Google dovesse decollare. Anche se Discourse non costruisse un rilevatore sofisticato per l’AI, raccogliere quei dati nel database potrebbe rendere più facile per altre persone sviluppare plugin.


Non l’avevo notato prima, ma ho appena visto apparire qui una cosa “AI” che si traduce in inglese. Personalmente, non farei così nel mio forum. Farei scrivere agli utenti nelle loro lingue native come contenuto grezzo, e poi eseguirei un traduttore su quello prima di presentarlo agli altri utenti. Questo è ciò che intendevo sopra nel mio commento sul futuro software di traduzione che sarà migliore di quello odierno. Memorizzando la lingua madre dell’utente, il miglior software di traduzione degli anni 2030 e 2040 potrebbe essere utilizzato su di esso, e il contenuto potrebbe essere letto dagli utenti che parlano quella lingua senza tradurlo in inglese e viceversa.