Sto cercando modi per integrare l’IA nel mio forum Discourse per assistere nella moderazione. Non ho bisogno che sostituisca i miei moderatori, ho solo bisogno di aiuto per individuare cose che gli esseri umani di solito non vedono. A volte, è perché questi problemi sono letteralmente invisibili a un moderatore (come uno spammer che crea più account dallo stesso indirizzo IP). Altre volte, è visibile a un moderatore, ma è facile diventare pigri e trascurare queste cose (come un argomento pubblicato nella categoria sbagliata, o un argomento che sta andando fuori tema).
Ci sono infiniti compiti con cui un moderatore AI potrebbe aiutare. Solo alcune idee a bruciapelo:
Monitorare tutti i nuovi post per indicare la probabilità che si tratti di spammer o utenti legittimi.
Monitorare i nuovi utenti e la loro attività finché non raggiungono un certo livello di fiducia.
Individuare utenti problematici che creano nuovi account dopo essere stati sospesi.
Identificare argomenti pubblicati nella categoria sbagliata e offrire suggerimenti su quale categoria dovrebbero essere spostati.
Segnalare e rimuovere immediatamente contenuti NSFW.
Identificare quando la conversazione in un argomento sta andando fuori tema o dovrebbe essere bloccata.
Identificare quando un argomento è già stato trattato e dovrebbe essere reindirizzato.
Identificare quando un utente ha creato più account (più utenti che accedono dallo stesso indirizzo IP).
Identificare quando un utente sta pubblicando un post autopromozionale o irrilevante.
Per non parlare del fatto (e questo andrebbe in una direzione leggermente diversa), ci sono momenti in cui l’IA potrebbe persino rispondere a determinati argomenti con un profilo AI chiaramente contrassegnato. Ad esempio, se qualcuno pubblica una domanda su come utilizzare il forum o dove trovare una determinata funzionalità (come aggiornare il proprio profilo), il bot potrebbe rispondere identificando quando si tratta di una domanda a cui potrebbe rispondere facilmente, e poi potrebbe intervenire e spiegare come farlo.
Sto appena grattando la superficie, ma la domanda di fondo è: qualcuno ha creato un bot AI che possa assistere con questi tipi di compiti di moderazione in Discourse?
Se no, cosa sta frenando questo tipo di innovazione? Sembra che sarebbe incredibilmente utile per gli amministratori di forum, non per sostituire gli esseri umani (anche se ciò potrebbe essere possibile in alcuni casi), ma per aiutare gli esseri umani a svolgere il lavoro molto meglio.
Non lo so, ma immagino: l’IA è molto inaffidabile e può essere molto veloce e molto costosa.
Alcune di quelle opzioni sono già possibili, però. E non sono di uso comune principalmente perché, beh, l’IA è inaffidabile e ha bisogno di un essere umano che la sorvegli.
Un risponditore automatico che segue ogni post e interviene quando attivato dal contenuto deve essere costoso in termini di hardware e denaro puro. Ma un modello che risponde a livello di categoria a tutti gli iniziatori di argomenti è già possibile.
Poi c’è qualcosa come il monitoraggio degli IP che è abbastanza facile da coprire senza IA ma è davvero problematico. Avere lo stesso IP è abbastanza comune.
Hai dato un’occhiata a Discourse AI e Discourse Chatbot?
Ho appena sentito parlare di questo ieri da @Jagster (grazie, Jakke, per averlo segnalato). Ho approfondito un po’ la questione, in particolare la versione avanzata… e se ho capito bene, sembra che implementarla sarà piuttosto costoso, sia avendo un account di hosting Enterprise sia un server self-hosted piuttosto potente.
In ogni caso, è bello sapere che questa opzione esiste già. Sembra che soddisfi alcuni requisiti importanti, ma riesco a pensare a molti altri modi in cui può essere utilizzata. Sono entusiasta di vedere come continuerà a svilupparsi nei mesi e negli anni a venire. C’è un’enorme potenziale per questo tipo di cose!
Ci sono molte potenziali cose positive per questo, anche molti rischi e svantaggi.
Stack Exchange ha un bot A.I. che esamina le risposte e lo segnala all’autore se la sua risposta sembra poco chiara:
“Per come è scritta attualmente la tua risposta non è chiara. Per favore, modificala per aggiungere dettagli aggiuntivi che aiuteranno gli altri a capire come questa risponde alla domanda posta. Puoi trovare maggiori informazioni su come scrivere buone risposte nel centro assistenza. -Community bot”
Questo tipo di prompt può essere davvero utile per ispirare spiegazioni più chiare ed evitare che le persone si sentano confuse, frustrate o infastidite da risposte poco chiare.
Non è intensivo in termini di risorse sulla tua istanza self-hosted perché puoi semplicemente utilizzare modelli ospitati, ad esempio, openai. Quindi paghi solo per le chiamate API per embedding e chat.
Ho creato un’integrazione personalizzata per un cliente utilizzando Discourse.
Raccolta dell’attività di moderazione passata e addestramento di un NLP per segnalare argomenti e commenti che necessitavano di attenzione.
Aggiunta di un moderatore di tossicità addestrato anche sulla loro attività di moderazione passata.
Aggiunta di un’integrazione di sentiment per aiutare a risolvere rapidamente i commenti.
L’addestramento viene eseguito su Google Colab e il modello viene caricato su GCP per servire le API dai webhook di Discourse.
Mi piace usare i forum perché siamo tutti persone reali con un interesse o un obiettivo comune. Quando qualcuno risponde in modo errato a una domanda, un altro utente è destinato a intervenire per fornire una correzione. Suppongo che la stessa cosa potrebbe accadere se un’IA desse una risposta errata, ma semplicemente non è la stessa cosa. È anche utile per il nostro pensiero leggere come gli altri affrontano un problema, ho spesso trovato nuovi modi di pensare leggendo la risposta ben motivata di qualcuno, o ho imparato un nuovo modo di fare qualcosa che pensavo di sapere già fare.
Un’altra considerazione è il potenziale di falsi positivi, che possono (e lo fanno!) allontanare le persone. Se visito un forum come nuovo utente e una macchina ha erroneamente segnalato/contrassegnato il mio post o mi ha sospeso o quant’altro, ed è chiaro che non avrebbe dovuto succedere, io… probabilmente non tornerò più indietro, perché o mi allontanerò dal sito e me ne dimenticherò completamente, o sarò abbastanza infastidito da non preoccuparmi di risolverlo.
Sento che l’impulso a rimuovere gli elementi umani dalla moderazione sta andando nella direzione sbagliata. La moderazione può a volte avere regole prevedibili - e abbiamo la funzione parole monitorate, o l’abbinamento di un indirizzo IP, ad esempio, per gestire cose del genere. Ma usare un algoritmo per gestire le cose “morbide” finisce solo per essere un inseguimento senza fine all’algoritmo perfetto, distogliendo l’attenzione dalla costruzione di una comunità più sana in cui i comportamenti alla radice possano essere affrontati. Alla fine, la mia speranza è che gli utenti cambino comportamento, e devo credere che siano capaci di farlo.
Le domande di routine sono opportunità per le persone di creare connessioni umane, e quei punti di contatto sono assolutamente cruciali per sviluppare utenti a lungo termine che diventeranno sostenitori del tuo forum. Un volto amichevole che si presenta per rispondere a una domanda facile crea un’atmosfera accogliente in un modo che l’IA non può fare. Questo è un frutto maturo dal punto di vista della costruzione della comunità!