Sono un dottorando in machine learning e ho pensato di creare uno strumento che permetta a chiunque di addestrare un’AI personalizzata per aiutare nella moderazione dei contenuti sui forum Discourse. Sarebbe qualcosa che interesserebbe a voi qui?
So che esiste l’API Perspective di Google, ma è molto generica. La mia idea è quella di avere un plugin in cui si possono moderare i post e che addestra automaticamente un classificatore di testo per imparare dalla vostra moderazione. Ad esempio, se segnate un post come contenente linguaggio tossico o fuori tema, il sistema impara da voi e può segnalare post simili o addirittura pre-moderarli.
I classificatori di testo (utilizzati, ad esempio, nei forum) esistono da molto tempo.
Tipicamente, questo tipo di classificazione e punteggio del testo viene eseguito con classificatori bayesiani.
Se effettui una ricerca su Google con le parole chiave:
bayesian classifier ruby
e/o
bayesian classifier javascript
troverai innumerevoli librerie ed esempi di classificazione del testo utilizzando classificatori bayesiani.
Nel corso degli anni abbiamo utilizzato vari classificatori bayesiani per la moderazione dei post nei forum, il rilevamento dello spam e altro ancora; e abbiamo implementato codice personalizzato per addestrare il classificatore quando i moderatori eseguono azioni di moderazione.
Un potenziale problema qui è che molti compiti di moderazione non sono una semplice sanzione, ma sono più complessi, come “chiudi l’argomento per 12 ore” o “questo deve diventare un post wiki” o “questo deve essere spostato in una categoria diversa”.