Alla luce delle leggi SESTA/FOSTA, che di fatto eliminano molte tutele per i gestori di siti web sociali, forum e contenuti generati dagli utenti (safe harbor della Sezione 230), rendendo i gestori responsabili delle azioni dei propri utenti.
Potrebbe essere saggio valutare l’utilizzo di un’API di riconoscimento delle immagini come soluzione per migliorare la protezione, al fine di automatizzare il blocco dei caricamenti di contenuti espliciti (inappropriati, nudità, gore, ecc.).
È inoltre possibile migliorare la protezione da exploit come il caricamento di immagini inappropriate nelle bozze, per poi hotlinkarle altrove, utilizzandole come hosting di immagini anonimo e gratuito. Non sono certo quanto sia sfruttabile questa vulnerabilità su Discourse, ma sembra che, con le impostazioni predefinite, possa essere sfruttata per 180 giorni dopo la creazione della bozza, senza che il gestore sappia cosa è stato caricato (eliminare le bozze più vecchie di n giorni).
Sarebbe davvero utile controllare tutte le immagini caricate su Discourse tramite l’API Google Cloud Vision per garantire la sicurezza in vista di Adsense. L’abbiamo fatto sul nostro precedente sito web e non abbiamo mai ricevuto immagini nude o violente.
Google fornisce un Ruby Gem:
Un eventuale plugin dovrebbe agganciarsi al processo principale di caricamento delle immagini di Discourse per tutte le immagini (post, avatar, sfondi del profilo, ecc.) e rifiutare quelle che contengono contenuti non consentiti:
È assolutamente possibile, ma secondo me toglierebbe la fluidità all’esperienza. Se ci fosse un modo per integrare il modello direttamente nel plugin, sarebbe fantastico.
Voglio dire, prima di caricare, verificare l’immagine inviandola tramite POST all’API e ottenendo un segnale verde richiederebbe un po’ di tempo, giusto?
Beh, a mio avviso il processo di caricamento per le immagini inline è già asincrono. E l’API di Google è molto veloce.
D’altra parte, sarei anche felice di controllare le immagini dopo che un utente ha pubblicato un nuovo messaggio tramite un webhook esterno (API di Discourse) e modificare il messaggio dell’utente (ad esempio, rimuovere l’immagine e sostituirla con il testo “IMMAGINE RIMOSSA DAL AMMINISTRATORE”). Questa parte sembra possibile con l’API, ma non riesco a trovare alcun riferimento su come eliminare effettivamente l’immagine “sbagliata” tramite l’API in un caso del genere, perché non voglio nemmeno tenerla da qualche parte nell’ombra.
Sono felice di lavorare a questo come incarico retribuito. Puoi aiutarmi con la parte relativa alle API, ovvero quale API viene utilizzata per rilevare contenuti offensivi, ecc.
@Terrapop - Qualcosa che potresti voler prendere in considerazione è l’accuratezza del riconoscimento. Può essere utile poter vedere parte del contenuto bloccato, per assicurarsi che non sia configurato troppo restrittivo in termini di ‘POSSIBLE’, ‘LIKELY’ e ‘VERY_LIKELY’. I falsi positivi e i falsi negativi sono piuttosto comuni.
Penso che potrebbe essere un’implementazione migliore inviare tutti i post che includono immagini al di sopra di un certo livello di ‘possibile contenuto adulto’ alla coda di revisione. In questo modo, il post non è mai pubblico, ma puoi comunque approvarlo se il riconoscimento non è stato accurato. Se viene respinto da lì, le immagini verranno eliminate, credo dopo un periodo di tempo in base a quanto impostato per ‘clean_orphan_uploads_grace_period_hours’.
Questo permetterebbe di utilizzare il livello di rilevamento ‘POSSIBLY’ con maggiore fiducia.
Abbiamo testato l’API sul nostro sito web attuale e sappiamo quali livelli funzionano molto bene per noi.
@fzngagan sta sviluppando il plugin per noi in open source, quindi una volta completato potrai modificarlo e inviare una pull request per aggiungere un’opzione che non rifiuti direttamente, ma inoltri invece alla coda di moderazione.
Adoro l’idea di collegare la probabilità alle code di revisione quando l’immagine fa parte del post. Sono disponibile ad accettare sponsorizzazioni o PR in tal senso.
Se questo è facoltativo come aggiunta, per me va benissimo, naturalmente.
Abbiamo utilizzato l’API nella nostra ex comunità per un bel po’ di tempo e conosciamo i livelli accettabili per noi. E la maggior parte delle volte l’API ha correttamente negato l’accesso, e l’utente ha semplicemente caricato un’immagine meno grave.
Inoltre, volevo che non solo i post, ma anche i caricamenti di immagini per avatar e sfondi del profilo fossero controllati. Non so se sia possibile avere un’opzione di coda anche per questi?
