Come gestite gli utenti che usano l'IA per rispondere automaticamente ai thread e ottenere il livello di fiducia?

Questa domanda è rivolta a tutti i proprietari e moderatori dei forum: cosa ne pensate degli utenti che utilizzano l’IA per sfogliare automaticamente il forum, leggere i commenti recenti e far scrivere e pubblicare automaticamente una risposta al thread? Lo fanno per non dover partecipare attivamente al forum, perché desiderano raggiungere un livello di fiducia più elevato per accedere alle sezioni riservate a determinati livelli di fiducia.

Vigilate attivamente su questi utenti? Come fate a capire se un testo è stato scritto da un’IA? Fingete di non accorgervene?

3 Mi Piace

Può diventare ancora più disonesto. Ho visto post in cui un account fantoccio pubblica un nuovo argomento con contenuti generati dall’IA e, poco dopo, un nuovo utente (presumibilmente controllato dallo stesso attore) risponde concordando e complimentandosi con l’autore del post.

4 Mi Piace

Non ho mai visto un comportamento del genere, ma da parte mia sarebbe un ban. Se fossero membri in regola, verrebbe emesso un avviso, ma sembra che non abbiano mai contribuito.

Credo che sia utile avere una politica esplicita sui contributi generati da LLM.

6 Mi Piace

Bene, la mia domanda su come dovresti gestire questo problema è: quanto valuti il tuo contenuto riservato e quanto valuti l’accesso a detto contenuto.

Se si tratta di contenuto a cui non vuoi che le persone accedano “ingannando il sistema”, cercherei di capire come cercare di fermare questo tipo di comportamento.

Il motivo è che questo comportamento è molto comune. Guarda l’esempio di Robert:

ah… questo continua ad accadere qui… ogni giorno

Comunque

molte volte è piuttosto ovvio per un moderatore umano semplicemente leggendo, ma ciò richiede tempo al moderatore. Alcuni amministratori stanno utilizzando l’IA per catturare l’IA (divertente, eh?)

vedi una discussione simile qui:

4 Mi Piace

Se sei in grado di isolare gli user-agent utilizzati, oppure se rispettano gli standard di controllo, potresti considerare di bloccarli, di applicare un limite di velocità o di utilizzare llms.txt.

Queste soluzioni funzionano solo se le automazioni si comportano come gentiluomini.

Se determinate regioni sono un problema, c’è sempre anche il geo-blocking.

Utilizzo un agente di rilevamento AI per esaminare i nuovi utenti o quelli con un livello di fiducia basso. Si è rivelato accurato per oltre il 95%.

Dipende da quanto siano abili i malintenzionati, ma con un po’ di lavoro e test puoi diventare tu più abile :wink:

4 Mi Piace

Anche noi abbiamo visto questo fenomeno piuttosto spesso. Certo, non posso parlare delle motivazioni, ma per esperienza mi sembra molto meno interessante che cercare di “guadagnare fiducia”. Credo che si tratti semplicemente di spam.

Oggi lo spam include anche i dataset per l’addestramento dell’IA e il GEO — in cui è vantaggioso per loro semplicemente menzionare un prodotto, un servizio o un’azienda in tutto il web.

A volte lo scopo è accumulare abbastanza fiducia per inserire un link, ma sospetto che i link siano ormai secondari.

Finora gli indizi sono stati piuttosto evidenti — la mia “opinione onesta” è che le “cuciture portanti” si notano chiaramente. Metto l’argomento in pausa e invio all’utente un messaggio diretto amichevole (ma precompilato) che lo dà il benvenuto e gli chiede di rispondere a me per riattivarlo.

Nessuno ha mai risposto.

4 Mi Piace

Come ha suggerito qualcun altro, sembra che tu debba riconsiderare il valore dei tuoi contenuti protetti e il valore relativo dei contributi degli utenti al forum. Le persone che non hanno accesso ai contenuti protetti possiedono le conoscenze o le competenze necessarie per contribuire in modo significativo? Forse modifichi i requisiti per raggiungere un nuovo livello di fiducia in modo tale che pubblicare spazzatura non aiuti e, in qualche modo, renda chiaro questo fatto affinché le persone non siano tentate di farlo.

Prima dell’AI, gli utenti nuovi potevano contribuire in modo significativo e raggiungere il livello di fiducia successivo?

4 Mi Piace

Sia che sorprenda o meno, ho utilizzato l’assistente IA sui post qui per determinare se un post fosse stato scritto dall’IA (in parte per testare, in parte per divertimento), dopo averlo stabilito io stesso. E infatti! Si è rivelato sorprendentemente accurato nel distinguere tra testo scritto da IA e testo scritto da un umano.


Se fosse stato palese che l’utente stava usando l’IA per letteralmente “gaming” il forum, suggerirei un avvertimento o due, seguiti da una sospensione di qualche giorno.

1 Mi Piace

Tornerei a tornare ai principi fondamentali: il contenuto che stanno producendo è utile alla comunità più ampia? Se lo è, ha importanza il modo in cui è stato creato? Se non lo è, si affronti quel problema. Se qualcuno usa un account fittizio per creare un gran quantità di spazzatura, le conseguenze dovrebbero essere le stesse, che si tratti di intelligenza artificiale o di un essere umano, no?

6 Mi Piace

La nostra comunità è in allerta e ci ho pensato a lungo, perché nei tempi che corrono quasi nessuno rispetta le politiche o i principi. Ho quindi implementato un sistema personalizzato di livelli di fiducia/karma in cui gli utenti devono completare specifiche missioni (umane) per ottenere l’accesso.

Partiremo con una soglia bassa, ma se dovessi notare il comportamento che hai descritto qui, la alzerò per rendere tutto noioso, fastidioso o quasi impossibile da automatizzare e/o realizzare utilizzando LLM.

La nostra comunità si basa sull’interazione umana: abbiamo lasciato Discord perché il loro sistema centralizzato non è in linea con la nostra filosofia. Mi aspetto anche di vedere in futuro telecamere live generate dall’IA, quindi devo pianificare cosa farne.

Ho moderato e gestito alcuni forum durante la mia vita online e ho imparato a mie spese che le azioni coercitive o punitive hanno di solito effetti contrari. Devono essere l’ultima ratio, sempre.

Sai, il detto “non dare da mangiare al troll” vale ovunque.

3 Mi Piace

Sinceramente, mi preoccupa che il sistema TL stia iniziando a fallire, dato che è fondamentale per la nostra difesa a strati. Non lo vedo accadere qui su meta: hai personalizzato la rilevazione dello spam tramite IA o le impostazioni TL?

3 Mi Piace

Per essere onesti e per lasciare che il mio lato cinefilo anni '90 continui a scrivere, sto ricominciando una nicchia comunitaria dalla Latam che sarà aperta al mondo, perché credo che i forum debbano sopravvivere e tra qualche anno noi —gli umani— saremo lo 0,5-1% del mondo.

Digg è sparito, Stack Overflow, sparito. Reddit non è più guidato da esseri umani. Ero lì e mi sono ritirato quando ho visto il vero mostro in avvicinamento. Limiti alle API, divieti ai client alternativi, cookie ovunque, captcha che chiedono a un essere umano di ‘dimostrare di non essere un bot’, impronte digitali su ogni interazione, e così via.

Riaprire la nostra comunità ci esporrà a bot di spam, ma mi aspetto più attacchi alla nostra infrastruttura perché noi (io) amiamo sempre l’auto-ospitazione, quindi ho scelto di dimenticare tutto ciò che riguarda l’SEO, limitare tutto il possibile, mantenere le interazioni tra ‘noi’, ho imparato a crittografare, distribuire in reti decentralizzate e a essere su Tor dove Discourse può essere utilizzato tramite Dumbcourse.

Questa è l’ultima linea di difesa e al momento non è necessaria, ma il mio lato distopico (forse folle per chi ascolta o legge) è sempre in stato di allerta, lo sai. Vediamo i film: agenti, ragni, controllo totale e l’illusione su quasi tutti.

Tornando a Discourse, non mi aspetto abusi di spam perché stiamo facendo qualcosa di insolito e al di fuori di ciò che la maggior parte segue, ma mi aspetto che molti utenti cercheranno di sfruttare l’IA nelle loro interazioni per sembrare migliori di quanto siano. Non solo è impossibile, ma è anche la peggior decisione che chiunque possa prendere se vuole migliorare.

Quindi passeremo da una folla emotiva che segue un leader a un gruppo di moderatori affidabili che tiene fuori gli agenti. Credo che il sistema di livelli di fiducia di Discourse fosse ottimo, ma non è incoraggiato dal mondo com’è oggi; le persone sono addestrate a ottenere tutto istantaneamente e a ricevere in cambio quasi nulla di valore.

La mia decisione di creare un sistema vecchio stile invece del comune sistema di badge/fiducia taglierebbe tutto il rumore e credo di aver scelto la migliore piattaforma per un forum guidato dal miglior team al mondo. Vedremo dove andrà a finire tutto.

Ho letto il tuo articolo e quello sulla mitosi o sulla frammentazione tossica. È sempre bello leggere persone che scrivono da ciò che vivono e possiedono davvero. Sono piacevolmente sorpreso che tu sia a conoscenza della teoria dell’“internet morto”. È così adesso.

2 Mi Piace

Riguardo allo spam. Circa due anni fa siamo passati a Discourse da una piattaforma datata e in declino, che era pessima sotto ogni aspetto. Era impossibile stare al passo con lo spam.

Discourse ha messo il freno a mano su questo problema: quando è stata abilitata la rilevazione basata sull’intelligenza artificiale, è stato un vero e proprio punto di svolta.

Non ricordo un singolo argomento spam che sia riuscito a passare. Ci sono stati un po’ di falsi positivi per i nuovi membri, ma nulla di grave, e questo costo è nulla rispetto a prima.

Siamo riusciti a bloccare alcune aree geografiche che stavano creando un’enorme quantità di account, riducendo il problema a un livello che non è più un peso e non vale nemmeno la pena di preoccuparsene.

Ciò che mi piace di Discourse è la flessibilità che offre per affrontare i problemi, l’evoluzione costante e la disponibilità del team ad aiutare. È un cambiamento davvero rinfrescante.

3 Mi Piace

Non ho tutta l’esperienza nella costruzione di presenze su Internet che possiede la comunità Meta nel suo complesso, perché mi muovo sempre in spazi selezionati, piccoli o di nicchia. Ho lavorato per circa un decennio sulle fondamenta dei sistemi peer-to-peer e ho iniziato a comprendere l’inglese solo da qualche anno, quindi ero rimasto quasi fuori dal grande scenario.

Nel frattempo ho subito un attacco di spam su Ghost CMS e ho dovuto disabilitare la registrazione perché il sistema non era preparato a gestirlo. È stato pazzesco: le risorse del server SMTP utilizzate in un mese erano quelle che normalmente venivano consumate in circa due anni.

Mantenere comunità selezionate consente una revisione manuale degli account; credo che sia l’unico metodo affidabile per tenere lontani crawler e bot. Al giorno d’oggi non esiste alcun sistema che non riescano a superare; la potenza di calcolo di cui dispongono è in continua evoluzione e diventa sempre più forte ogni giorno.

Buoni strumenti aiuteranno, come sempre, ma la vera difesa dipende da noi.

Penso di sì. In alcuni casi, abbiamo avuto spammer che chiedevano domande evocative generate dall’IA, su cui la nostra comunità ha collettivamente speso un bel po’ di tempo… solo per vedere il “OP” tornare e inserire un link spam o modificare retroattivamente la domanda per includerlo. Non sono palesemente dei troll prima della svolta.

Le persone subiranno questo tipo di inganno solo un certo numero di volte. Distrugge il buon senso della comunità.

3 Mi Piace

Immagino che il tuo forum non sia l’unico bersaglio e, tenendo presente questo, è ovvio che l’entità che sta compiendo questi atti non voglia probabilmente perdere tempo a creare l’argomento originale. Di conseguenza, un post generato da AI fa risparmiare tempo nel quadro generale. Pertanto, sembra che la vigilanza verso il blocco dei post creati da AI possa essere un metodo utile per ridurre gli attacchi di spam.