À la lumière des lois SESTA/FOSTA, qui suppriment effectivement de nombreuses protections pour les administrateurs de sites web sociaux/de forums/de contenu généré par les utilisateurs (la protection de la Section 230). Cela rend les administrateurs responsables des actions de leurs utilisateurs.
Il pourrait être judicieux de soutenir l’utilisation d’une API de reconnaissance d’images comme l’une des solutions pour améliorer la protection. Cela permettrait d’automatiser le blocage des téléchargements de contenu explicite (contenu non sûr, nudité, scènes de violence, etc.).
Améliorez également la protection contre les exploits, tels que le téléchargement d’images inappropriées dans des brouillons, puis le hotlinking vers ces images ailleurs, en les utilisant comme un hébergement d’images anonyme gratuit. Je ne suis pas sûr de la vulnérabilité de cette fonctionnalité avec Discourse, mais il semble qu’avec les paramètres par défaut, cela pourrait être exploité pendant 180 jours après la création du brouillon, sans que l’administrateur du site sache ce qui a été téléchargé (supprimer les brouillons plus anciens que n jours).
Il serait vraiment utile de vérifier toutes les images téléchargées sur Discourse via l’API Google Cloud Vision pour rester conforme aux exigences d’AdSense. Nous l’avions fait sur notre ancien site et n’avons jamais eu d’images nues ou gore uploadées.
Google fournit une Gem Ruby :
Un plugin potentiel devrait s’interfacer avec le processus principal de téléchargement d’images de Discourse pour toutes les images (messages, avatars, fonds de profil, etc.) et rejeter les images contenant du contenu non autorisé :
C’est tout à fait possible, mais cela nuirait, à mon avis, à la fluidité de l’expérience. S’il existait un moyen d’intégrer le modèle directement dans le plugin, ce serait super.
Eh bien, le processus de téléchargement pour les images en ligne est déjà asynchrone, à mon avis. Et l’API Google est très rapide.
D’un autre côté, je serais également heureux de vérifier les images après qu’un utilisateur a publié un nouveau message via un webhook externe (API Discourse), et de modifier le message de l’utilisateur (par exemple, changer l’image et la remplacer par le texte “IMAGE SUPPRIMÉE PAR L’ADMINISTRATEUR”). Cette partie semble possible avec l’API, mais je ne trouve aucune référence sur la façon de supprimer réellement l’image “mauvaise” via l’API dans un tel cas, car je ne veux même pas la garder quelque part dans l’ombre.
Je suis ravi de travailler là-dessus en tant que mission rémunérée. Pouvez-vous m’aider côté API, c’est-à-dire quelle API est utilisée pour détecter le contenu offensant, etc. ?
@Terrapop - Un élément à prendre en compte est la précision de la reconnaissance. Il peut être utile de pouvoir consulter une partie du contenu bloqué afin de s’assurer que les paramètres « POSSIBLE », « PROBABLE » et « TRÈS PROBABLE » ne sont pas trop stricts. Les faux positifs et les faux négatifs sont assez courants.
Je pense qu’une meilleure approche consisterait à envoyer à la file d’examen tout message contenant des images dépassant un certain seuil « potentiellement adultes ». Ainsi, le message ne serait jamais public, mais vous pourriez tout de même l’approuver si la reconnaissance s’est révélée inexacte. En cas de rejet à ce stade, les images seraient supprimées, je suppose après un délai défini par « clean_orphan_uploads_grace_period_hours ».
Cela permettrait d’utiliser le niveau de détection « POSSIBLE » avec plus de confiance.
Nous avons testé l’API sur notre site web actuel et savons quels niveaux fonctionnent très bien pour nous.
@fzngagan développe le plugin pour nous en open source ; ainsi, une fois terminé, vous pourrez modifier et proposer une option via une pull request pour ne pas rejeter directement, mais plutôt transférer vers la file d’attente des modérateurs.
J’adore l’idée de lier la probabilité aux files d’attente de modération lorsque l’image fait partie du message. Je suis heureux d’accepter un parrainage ou une contribution dans ce sens.
Si cela est facultatif en tant qu’ajout supplémentaire, cela me convient bien sûr.
Nous avons utilisé l’API dans notre ancienne communauté pendant un certain temps et connaissons les niveaux acceptables pour nous. La plupart du temps, l’API refusait correctement, et l’utilisateur téléchargeait simplement une image moins grave à la place.
De plus, je souhaitais que non seulement les publications, mais aussi les images de profil et les images de couverture soient vérifiées. Je ne sais pas si une option de file d’attente est également possible pour celles-ci ?
