Les shadowbans nuisent au discours, et voici pourquoi

Communauté
1

J’ai lu des articles encourageants ici sur le sujet de la modération, comme celui de @codinghorror ici[1], et je voulais apporter ma contribution.

Les récentes révélations de Twitter[1] ont relancé le débat sur l’utilisation d’outils de modération similaires au shadowban. Sont-ils bons ou mauvais pour le discours ? Avec ce post, j’espère susciter un débat entre les modérateurs et les utilisateurs sur l’utilisation des shadowbans.

Mon hypothèse est que la modération transparente favorise une base d’utilisateurs préparée où les modérateurs et les utilisateurs se font confiance, et que la modération fantôme crée plus de problèmes qu’elle n’en résout. J’affirme donc que des choses comme le shadowban ne devraient jamais* être utilisées, même pour des forums “petits” comme les installations Discourse.

À propos de moi

Je suis l’auteur de Reveddit, un site qui montre aux Redditors leur contenu secrètement supprimé. Reveddit a été lancé en 2018 et depuis, je me suis exprimé sur Reddit[1], Hacker News[1] et plus récemment Twitter[1] sur mon opposition à l’utilisation généralisée d’outils similaires au shadowban, que j’appelle la modération fantôme. Au cas où il y aurait un doute sur le fait qu’une forme de modération fantôme se produit sur toutes les plateformes les plus populaires, veuillez également consulter mon discours pour Truth and Trust Online 2022[1], diapositives 8-9 à 5:50, ou mon apparition sur Using the Whole Whale[1]. S’il y a un doute sur le fait que cette pratique est impopulaire auprès des utilisateurs de tous horizons, veuillez consulter les réactions de milliers d’utilisateurs dans la FAQ de Reveddit[1].

Préface

Pour référence, voici quelques définitions existantes du comportement similaire au shadowban :

  • “rendre délibérément le contenu de quelqu’un indétectable à tous sauf à la personne qui l’a posté, à l’insu de l’auteur original”. - Blog de Twitter[1]
  • “Un utilisateur hellbanned est invisible pour tous les autres utilisateurs, mais surtout, pas pour lui-même. De son point de vue, il participe normalement à la communauté mais personne ne lui répond jamais. Il ne peut plus perturber la communauté car il est effectivement un fantôme.” - Coding Horror[1]

Et voici deux définitions de ma part :

  • Modération transparente : Lorsque les utilisateurs sont informés des actions entreprises contre leur contenu.

  • Modération fantôme : Tout ce qui dissimule les actions des modérateurs à l’auteur du contenu actionné.

Notez que lorsque les plateformes parlent de transparence, elles signifient simplement qu’elles définissent clairement leurs politiques. Ce n’est pas la même chose que la modération transparente.

Et pour être clair, je soutiens l’utilisation d’une modération transparente. Je ne soutiens pas l’intervention gouvernementale dans les médias sociaux pour imposer la transparence aux plateformes, comme tentent de le faire le PATA[1] aux États-Unis ou le DSA[1] en Europe (Platform Accountability and Transparency Act et Digital Services Act, respectivement). Par conséquent, j’accepte également le droit légal des plateformes de s’engager dans la modération fantôme.

L’argument en faveur de la modération transparente

L’argument en faveur de la modération transparente est mieux défini comme un argument contre la modération fantôme.

La modération fantôme va à l’encontre de l’habeas corpus, un concept vieux de mille ans selon lequel l’accusé a le droit de faire face à son accusateur. Les valeurs de l’habeas corpus sont consacrées dans la Constitution américaine sous forme d’amendement (le 6e), mais c’est aussi une dignité fondamentale que nous attendons pour nous-mêmes et que nous devrions donc accorder aux autres. En termes simples, les punitions secrètes sont injustes.

Maintenant, vous pourriez dire : “mais ce sont des plateformes privées !” En effet, elles le sont. Pourtant, dans le privé, nous nous efforçons toujours de respecter certains idéaux, comme l’explique Greg Lukianoff de FIRE ici.

John Stuart Mill a plaidé la même chose dans De la liberté où il écrivait : “La protection, par conséquent, contre la tyrannie du magistrat ne suffit pas : il faut aussi une protection contre la tyrannie de l’opinion et du sentiment dominants.”[1]

Maintenant, vous pourriez dire : “Nous en avons besoin pour gérer le spam des bots !” Cela ne fonctionnera que pendant un court laps de temps. À long terme, les bots découvriront comment vérifier la visibilité de leur contenu, tandis que les utilisateurs ne le feront la plupart du temps pas. Par conséquent, la modération transparente fonctionnera tout aussi bien pour les bots, et la modération fantôme ne nuit qu’aux individus authentiques.

Peut-être direz-vous : “Je ne l’utilise que sur un petit forum.” Et là, je demanderais, est-il vraiment nécessaire de recourir à la tromperie ? Se familiariser avec la modération fantôme sur une petite installation Discourse peut être un tremplin vers son soutien sur des plateformes plus grandes, et le préjudice y est clair pour moi. Tous les aspects de chaque problème, dans toutes les zones géographiques et sur toutes les plateformes, sont touchés. Plus de 50 % des Redditors ont des commentaires supprimés au cours de leur dernier mois d’utilisation. Cela interrompt un nombre incalculable de conversations, peut-être par peur de ce qui se passera si la haine est “libérée”. Mais Reveddit existe depuis quatre ans, et cela ne s’est pas produit. Au lieu de cela, ce que j’ai observé, ce sont des communautés plus saines, et je cite de nombreux exemples de cela dans mon discours.

La modération fantôme à grande échelle renforce également votre adversaire idéologique. Les groupes que vous considérez comme incivils sont plus susceptibles d’utiliser la modération fantôme de manière incivile. Tous les avantages que vous avez lorsque vous êtes en position de pouvoir mettre en œuvre de tels outils s’éroderont avec le temps. Et tant que vous utiliserez la modération fantôme, vous ne gagnerez pas les arguments sur son utilisation ailleurs.

À ma connaissance, peu de recherches ont été menées pour étudier les effets de la modération fantôme. Je connais une étude qui indique que la charge de travail des modérateurs diminue à mesure que la transparence augmente[1]. Pourtant, nous savons que les sociétés ouvertes prospèrent par rapport à celles qui sont fermées.

Laissée sans contrôle, la modération fantôme crée des groupes tribaux isolés qui ne sont pas préparés aux conversations du monde réel où de telles protections ne sont pas disponibles. Cela peut conduire à des actes de violence ou d’automutilation, car le préjudice infligé par les mots est réel lorsque nous ne parvenons pas à accepter les limites de ce que nous pouvons contrôler. Nous pouvons plutôt choisir de répondre à la haine par des contre-discours, et encourager les bases d’utilisateurs à faire de même.

Enfin, la nouvelle législation ne peut pas résoudre ce problème pour nous. Toute loi de ce type porterait atteinte à nos libertés individuelles et aurait pour conséquence involontaire soit (a) de renforcer l’entité même contre laquelle le projet de loi sur les droits a été conçu, soit (b) de ne pas fonctionner, car il n’y a aucun moyen d’imposer la transparence sans donner au gouvernement l’accès à tout le code. Vous êtes donc soit de retour à la case départ, soit dans une situation pire qu’au début. Le soutien à l’habeas corpus et donc au discours civil est mieux atteint par un soutien culturel à une modération réellement transparente. Tout ce qui est moins que cela serait un pansement recouvrant une plaie purulente.

Conclusion

En conclusion, il ne faut pas adopter la position : “il le fait, donc je dois le faire pour être en concurrence sur un pied d’égalité”. Considérez plutôt que vous pourriez tous deux avoir un mauvais pied d’égalité. Les installations Discourse et autres forums qui n’utilisent pas la modération fantôme ont une base plus solide. Leurs bases d’utilisateurs sont préparées, les modérateurs et les utilisateurs se font confiance, et par conséquent, tous deux se sentent libres de parler ouvertement et honnêtement. Et, compte tenu de l’utilisation généralisée de la modération fantôme, il est maintenant plus important que jamais de soutenir vocalement la modération transparente.

Annexe

Une utilisation de la modération fantôme sur Twitter, qui n’a pas encore été signalée, peut se produire lorsque les Tweets sont automatiquement masqués en fonction de mentions de certains liens. J’ai découvert cela lorsque j’ai partagé un lien vers mon nouveau blog pour lequel j’avais acheté un domaine bon marché à 2 $/an avec le TLD .win. Après l’avoir partagé via Twitter, j’ai remarqué que mes tweets apparaissaient pour MOI mais PAS pour les autres. Par exemple, ce tweet[1] ne montre pas la réponse de ma part, même en cliquant sur le bouton “Afficher les réponses supplémentaires”. Pour voir ma réponse, il faut accéder directement au lien[1]. En effet, cette réponse n’est visible par personne qui ne me connaît pas déjà, et le système me dissimule ce fait pendant que je suis connecté.

* La seule circonstance dans laquelle je pense que la censure généralisée est utile est lorsque la société a oublié ses méfaits. Dans ce cas, elle revient inévitablement, ne serait-ce que pour nous rappeler une fois de plus ses effets délétères.

20 « J'aime »
2

Très intéressant, merci.

On pourrait facilement soutenir qu’il existe une autre couche, les moteurs de recherche comme Google !

6 « J'aime »
3

Lecture très intéressante. Cependant, je me demande s’il existe une utilité pour les shadowbans dans Discourse.

Oui, il existe un plugin de shadowban mais il est à peine utilisé. Il a une (1) étoile Github et les statistiques dont nous disposons au sein de Communiteq révèlent que le nombre de forums Discourse qui l’utilisent activement est inférieur à 0,5 %.

Alors pourquoi l’adoption du shadowbanning au sein de la plateforme Discourse est-elle si faible ? Ce n’est pas parce que les shadowbans sont mauvais (ce qu’ils sont), c’est pour une autre raison. D’un point de vue technique, les shadowbans sont très faciles à détecter sur Discourse. Il suffit de visiter le forum sans se connecter ou en utilisant un autre compte et de repérer les différences. Et c’est possible parce que Discourse n’est pas une plateforme de médias sociaux qui utilise un algorithme qui décide de ce que vous verrez et dans quel ordre il est présenté. Dans Discourse, le contenu que vous voyez ne dépend pas de ce que vous avez fait / vu / lu ou écrit auparavant. Et s’il n’y a pas d’algorithme, il n’y a pas d’endroit pour minimiser certains contenus. Il n’y a que l’option de le cacher complètement au lieu de le montrer.

Je ne soutiens pas non plus toutes les formes de modération transparente, car la modération transparente peut toujours être subjective.

Outre mon travail dans l’écosystème Discourse, je suis également le fondateur d’une entreprise qui combat la désinformation et les discours de haine en ligne. Lors de conférences, on me demande souvent des exemples d’ingérence étrangère dans les processus démocratiques de ce pays (les Pays-Bas), où les personnes qui posent la question s’attendent toujours à ce que je raconte une histoire sur des trolls russes. Mais en fait, les principaux exemples d’ingérence dans les processus démocratiques par des acteurs étrangers que nous avons vus dans ce pays sont des plateformes de médias sociaux comme Twitter ou YouTube qui bannissent ou shadowbannent des politiciens néerlandais, sans aucun examen par un tribunal ou un autre organisme indépendant.

Et c’est mal.

13 « J'aime »
4

Salut Richard,

Merci d’avoir donné ton avis. Je ne suis pas entièrement convaincu que l’utilisation de Discourse soit minime. Nous n’avons aucun moyen de vérifier le code personnalisé des installations, etc., sans d’abord créer et partager des outils permettant aux utilisateurs d’examiner eux-mêmes le comportement de ces systèmes. Même si l’utilisation était minime, il est toujours important de prendre une position publique, car l’utilisation ailleurs a commencé modestement et est maintenant généralisée. Je dois être en désaccord avec ton commentaire ici,

Alors pourquoi l’adoption du shadowbanning au sein de la plateforme Discourse est-elle si faible ? Ce n’est pas parce que les shadowbans sont mauvais (ce qu’ils sont), il y a une autre raison. D’un point de vue technique, les shadowbans sont très faciles à détecter sur Discourse. Il suffit de visiter le forum sans se connecter ou en utilisant un autre compte et de repérer les différences.

Bien que ce soit techniquement possible, la plupart des utilisateurs n’y penseront pas. Après tout, les suppressions de commentaires de Reddit fonctionnent de la même manière, comme vous pouvez le constater en commentant sur r/CantSayAnything. 99 % des Redditors n’ont aucune idée que cela fonctionne ainsi. J’ai eu un compte sur Reddit pendant sept ans avant de découvrir son utilisation généralisée de la modération fantôme. J’avais également visité en tant que lecteur pendant environ trois ans avant cela. Et même maintenant que Reveddit existe depuis quatre ans, j’estime que moins de 1 % des Redditors comprennent comment fonctionnent les suppressions de commentaires. Enfin, même après avoir créé Reveddit, ce n’est que quatre ans plus tard, cet été, que j’ai vraiment compris que des outils de modération fantôme existaient et étaient largement utilisés sur toutes les plateformes majeures.

Je suis d’accord avec toi sur le fait que la manipulation des flux algorithmiques est plus difficile à détecter. Et comme tu le dis, le contenu non filtré par algorithme est examinable. Cependant, les sections de commentaires triées par date entrent toujours dans cette catégorie, et je crois que tous les principaux sites de médias sociaux en ont. Ceux-ci sont donc examinables, à condition que quelqu’un crée des outils pour le faire, car encore une fois, les utilisateurs ne pensent pas à vérifier cela par eux-mêmes. Même si vous vérifiez une fois le statut d’un commentaire, il est possible qu’un modérateur supprime discrètement votre commentaire une heure plus tard, invalidant ainsi votre vérification ! C’est pourquoi j’ai créé Reveddit Real-Time1, une extension qui interroge le système pour les suppressions fantômes et vous notifie lorsque cela se produit.

De tels outils devraient être créés pour toutes les plateformes jusqu’à ce qu’il y ait suffisamment de confiance entre les utilisateurs et les sites de médias sociaux pour que la modération fantôme soit du passé. La modération fantôme est si répandue que je pense que tout le monde devrait supposer qu’elle est utilisée par le système qu’il utilise pour communiquer, à moins que le système ne nie expressément cette pratique. Et même dans ce cas, vous devez surveiller leur formulation, comme le choix de Twitter d’utiliser publiquement le mot « classer »1 plutôt que des descripteurs internes comme « désamplifier »1. YouTube, en revanche, reconnaît plus ouvertement qu’il va « réduire »1 le contenu.

la modération transparente peut toujours être subjective.

Peux-tu développer ?

Outre mon travail dans l’écosystème Discourse, je suis également fondateur d’une entreprise qui combat la désinformation et les discours de haine en ligne.

Intéressant, peux-tu dire laquelle ? Et les conférences dont tu parles sont-elles disponibles en ligne ? Je suis d’accord pour dire que les interdictions de YouTube sont également préoccupantes. Je soupçonne que leur fossé, comme celui des autres, a été construit à l’aide d’outils de modération fantôme qui « réduisent » ou « suppriment fantomiquement ». Nous devrions donc nous concentrer d’abord sur cela.

Je pense que la véritable censure de notre époque est la modération fantôme. La modération transparente peut être de la censure si elle n’est pas « neutre quant au point de vue », mais elle s’apparente plus souvent à de l’édition. Un dernier argument contre la vraie censure vient de Bob Corn-Revere, un éminent avocat du premier amendement : « le censeur n’a jamais le beau rôle moral. »1

3 « J'aime »
5

Je suis d’accord pour dire que la modération devrait être transparente, mais je peux comprendre à quel point le bannissement fantôme pourrait être tentant pour traiter avec des trolls qui ne disparaissent pas. Quelles sont les autres façons de traiter avec quelqu’un qui continue de créer de nouveaux comptes après avoir été banni par le personnel d’un site ?

8 « J'aime »
6

En tant que l’un des fondateurs du deuxième plus grand fournisseur d’hébergement géré de Discourse, j’ai ce moyen - du moins en ce qui concerne les instances que nous hébergeons - je suis donc dans la position chanceuse de pouvoir effectuer des calculs statistiquement significatifs ici. Et s’il existait une fonctionnalité de shadowban généralisée qui - par magie - serait complètement disjointe de “nos” instances, je n’en aurais même pas entendu parler au cours des 9 dernières années. C’est, eh bien, hautement improbable.

Votre message semble estomper la distinction entre le shadowbanning (où tous les messages de certains utilisateurs sont supprimés) et la shadow moderation (concernant des messages individuels), mais je pense que cette distinction est importante.

Outre les différences techniques où le shadowbanning est beaucoup plus facile à détecter (si vous pouvez trouver un seul message d’un certain utilisateur, il n’est pas shadowbanné), le shadowbanning est beaucoup plus diabolique, car la liberté d’expression de quelqu’un est restreinte en fonction de ce qu’il a dit auparavant, tandis que la shadow moderation supprime son discours actuel.

Je pense que le principal problème de la shadow moderation est qu’elle est subjective, et non qu’elle est silencieuse. Lorsque les gens sont informés de la suppression de contenu, cela peut également entraîner un comportement indésirable (par exemple, des repostages ou du trolling). Un exemple est ce qui s’est passé sur LinkedIn pendant le Covid-19. Ils notifient la suppression de contenu la plupart du temps, alors les gens ont commencé à prendre des photos de leurs messages supprimés et à les repostér. Cela n’a pas seulement attiré plus l’attention sur leurs messages (qui sont restés sous le radar car LinkedIn ne peut apparemment pas faire de reconnaissance d’image sur ces photos), mais a également alimenté les théories du complot du “grand reset” selon lesquelles un pouvoir plus important restreignait leur liberté d’expression.

Eh bien, ceci :

5 « J'aime »
7

Salut Simon, le contexte est très important. As-tu des exemples précis ? En général, je suggérerais d’imaginer que ce fardeau ne repose pas entièrement sur les épaules des gestionnaires de contenu. Engage ta communauté et explique le dilemme. Peut-être que cela peut être résolu sans interdiction. Si tu penses que c’est naïf, alors plus de contexte est nécessaire pour en discuter.

2 « J'aime »
8

Richard, merci pour ces éclaircissements. Le point de données que vous fournissez est bon à savoir. Je pense que nous pouvons convenir que la modération fantôme n’est pas apparemment un gros problème sur Discourse aujourd’hui.

Personnellement, je ne déclarerai toujours pas de « tout est clair » ici, pour les raisons déjà énoncées et parce que même l’utilisation de ce système par un seul forum peut avoir un impact important. Par exemple, certains groupes sur Reddit utilisent la modération fantôme plus intensivement que d’autres. Les utilisateurs peuvent être amenés à faire confiance au système dans son ensemble en partant du principe que certains groupes les informent des suppressions. Ils pensent donc que cela arrive tout le temps. Et ce qui se passe souvent ensuite, c’est que les groupes les plus manipulateurs sont davantage confiants simplement parce qu’ils ne disent pas aux utilisateurs quand ils suppriment du contenu. Au fil du temps, cela a conduit à ce que davantage de groupes optent par défaut pour la suppression sans notification. Reveddit aide à contrer cela dans une certaine mesure, mais cela reste un pansement sans une prise de conscience plus large.

Il n’est pas difficile pour moi d’imaginer une installation Discourse qui n’exerce pas une modération transparente et qui, par conséquent, exploite les utilisateurs de la même manière. Je suis d’accord que l’utilisation généralisée de la modération fantôme ailleurs ne signifie pas que son utilisation est généralisée sur Discourse. Je considère le plugin publié et les demandes de correction de bugs comme des preuves que la modération fantôme frappe au moins à la porte de Discourse.

Outre les différences techniques où le shadowbanning est beaucoup plus facile à détecter (si vous trouvez un seul message d’un certain utilisateur, il n’est pas shadowbanné),

Du point de vue de l’utilisateur, ce test ne fonctionne pas. Les systèmes qui modèrent sélectivement le contenu fantôme ne font pas savoir qu’ils le font. De plus, « plus facile » ne signifie pas « facile ». Cet utilisateur[1] a été shadowbanné sur l’ensemble du site Reddit pendant trois ans avant de le découvrir, et de nombreux autres utilisateurs sont régulièrement shadowbannés de subreddits, comme documenté par exemple dans r/LibertarianUncensored[2].

Reddit dispose désormais également de quelque chose appelé Crowd Control, qui permet aux modérateurs de subreddits d’activer un interrupteur pour supprimer automatiquement tous les commentaires des abonnés non réguliers sans notification. Dans un seul fil de discussion r/conservative[3], 4 000 commentaires, soit plus de 50 %, ont été automatiquement supprimés en mode fantôme. Aucun de ces utilisateurs n’a la moindre idée que leur participation à ce groupe est souvent mise en sourdine.

le shadowbanning est beaucoup plus malveillant, car la liberté d’expression de quelqu’un est restreinte en fonction de ce qu’il a dit auparavant, alors que la modération fantôme supprime son discours actuel.

Le shadowbanning (du contenu d’un compte entier) est une forme de modération fantôme. Le terme « invisibilité sélective »[4] décrit peut-être mieux ce que vous entendiez par « modération fantôme ». Les deux, à mon avis, peuvent être tout aussi nuisibles en raison de l’effet d’endormissement décrit ci-dessus, et parce que l’invisibilité sélective peut toujours être appliquée sans examen humain du contenu modéré. Sur Reddit, cela constitue la plupart des suppressions de commentaires ; les modérateurs ne les examinent pas et ne les approuvent pas, et j’imagine qu’il en va de même sur d’autres plateformes.

Enfin, je suis d’accord que les gens peuvent débattre de ce qui constitue de la censure, et même de ce que signifie être complètement transparent sur la modération. Je pense que le point le plus pertinent ici est que nous sommes si loin d’une modération transparente sur les médias sociaux, et si loin d’une prise de conscience publique de la prévalence de la modération fantôme, que toute étape dans cette direction est significative. En d’autres termes, ne laissez pas la perfection entraver ce qui est bon.

5 « J'aime »
9

Salut Rob, je suis d’accord avec @simon sur le fait qu’il existe certaines situations où le shadowban pourrait être utile d’un point de vue purement fonctionnel. Personnellement, je ne veux pas entrer dans les questions morales et philosophiques plus profondes de ce sujet, mais j’ai vu plusieurs cas qui sont assez clairs. Il s’agit généralement d’une personne spécifique que tout le forum connaît comme un troll éhonté, et cette personne a été bannie à plusieurs reprises et continue de revenir sous différents pseudonymes, et ce genre de fauteur de troubles utilise invariablement le réseau TOR. Il en va de même pour les utilisateurs mécontents qui publient des diatribes furieusement profanes et des insultes horribles, et même des images obscènes dérangeantes, ou même des menaces physiques ciblées spécifiques. Donc, le genre de cas auxquels je fais référence sont des exemples clairs et sans équivoque d’utilisateurs qui ne devraient absolument pas être sur un forum (ou même en liberté dans la rue dans certains cas), et leur comportement en ligne viole les normes de pratiquement toutes les personnes décentes dans le monde. Les shadowbans peuvent au moins gagner du temps avant que ce genre d’utilisateur ne s’en rende compte et ne crée un autre compte.

6 « J'aime »
10

C’est délicat. Je ne suis pas en mesure de donner des exemples, mais le sous-titre du sujet Discourse Shadowban résume assez bien la situation : « Le dernier recours pour traiter avec les trolls qui ne veulent tout simplement pas disparaître ». Aussi ceci :

Mon approche de la situation serait d’ajouter une note au compte de l’utilisateur avec Discourse User Notes pour avertir les autres modérateurs du site au sujet de l’utilisateur et s’assurer qu’il soit rapidement banni pour toute nouvelle infraction. Je n’ai jamais rencontré une situation où l’utilisateur ne disparaissait pas finalement.

Je pense que nous devrions faire notre part pour essayer de rendre le monde meilleur. Le type de problème que je décris ici concerne les utilisateurs qui semblent (de mon point de vue) avoir des problèmes de santé mentale. J’aimerais savoir comment les aider à devenir de meilleurs citoyens, tant sur Internet que dans le monde réel.

6 « J'aime »
11

On pourrait facilement soutenir qu’il existe une autre couche, les moteurs de recherche comme Google !

Exact. Je suis plus préoccupé par les suppressions masquées dans les sections de commentaires triées par date. Là, le préjudice est clair et il est relativement facile de construire des outils qui montrent où cela se produit. L’astuce, je pense, est de gagner du soutien pour ce mouvement. Il n’existe pas encore. Les gens ne savent même pas que cela se produit. Et, dans la mesure où les gens disent encore « nous avons besoin de tels outils pour ce pire scénario », je pense que c’est réducteur car les préjudices de cette nouvelle forme de censure masquée sont mis de côté ou ne sont jamais pris en compte. Néanmoins, il s’agit peut-être d’une conversation qui doit avoir lieu si nous voulons susciter le soutien à des conversations modérées de manière transparente.

Vous avez absolument raison de dire que les algorithmes opaques peuvent également modérer de manière masquée. J’ai entendu des rumeurs de recherches qui soutiennent que Google manipule ce qui apparaît dans ses suggestions de recherche lorsque vous tapez, cependant je n’ai pas de source à ce sujet, donc cela reste une rumeur pour moi. On pourrait également biaiser intentionnellement les données d’entraînement, ou ne pas remarquer les biais existants dans les données. Ou, on pourrait soutenir que ce qui constitue un biais est subjectif puisque le monde numérique ne reflétera jamais précisément le monde réel.

Ce sont toutes des discussions plus complexes, dont beaucoup n’auront lieu qu’à huis clos. Je pense qu’elles seraient plus susceptibles de se produire s’il y avait une plus grande prise de conscience de la prévalence de la modération masquée dans les sections de commentaires, et donc un plus grand soutien pour ne pas faire cela ; c’est-à-dire, un soutien à la modération transparente. Je ne suis pas marié à ces termes, d’ailleurs, donc si vous avez de meilleures idées, n’hésitez pas à les partager.

1 « J'aime »
12

Salut Rahim,

Ravi de vous voir rejoindre la discussion.

Je ne veux personnellement pas entrer dans les questions morales et philosophiques profondes de ce sujet, mais j’ai vu plusieurs cas très clairs.

Pouvez-vous citer quelques-uns de ces exemples ? Sans eux, il s’agit en effet plus d’une discussion théorique qu’empirique. Notez que certains contenus sont illégaux1. Ces contenus doivent être signalés aux autorités. Je suppose que vous parlez de discours protégés par la constitution qui nuisent autrement aux utilisateurs.

J’ai lié plusieurs cas démontrant comment l’utilisation continue de la modération fantôme est nuisible et je n’ai pas encore vu d’exemple de troll qui (a) publie constamment des discours à la limite de la protection constitutionnelle, et (b) ne disparaît pas après qu’on lui ait dit. C’est peut-être parce que c’est rare.

Le scénario hypothétique du pire est toujours utilisé pour justifier la concentration du pouvoir. Sur Reddit, certains groupes comme r/news ont un modérateur pour un million d’abonnés qui ont des comptes. Le nombre de lecteurs étire probablement ce ratio d’au moins dix fois. C’est remarquable si l’on considère que les modérateurs y sont des bénévoles anonymes et non formés. Ils décident de ce que des centaines de millions de personnes verront dans les sections de commentaires sans aucune supervision, même pas de la part des auteurs de ces commentaires.

Cela implique généralement une personne spécifique que tout le forum connaît comme un troll flagrant, et la personne a été bannie à plusieurs reprises et revient sous différents pseudonymes, et ce genre de fauteur de troubles utilise invariablement le réseau TOR. Il en va de même pour les utilisateurs mécontents qui publient des diatribes furieusement profanes et des insultes horribles, et même des images obscènes dérangeantes, ou même des menaces physiques spécifiques ciblées.

Cela justifie-t-il la mise en œuvre d’une forme de censure que la base d’utilisateurs n’est pas censée connaître ?

Ici se trouve un cas où j’ai engagé la conversation avec quelqu’un qui cherchait la bagarre. Vous pouvez voir d’après l’historique des commentaires de BillHicksScream1 qu’ils disent constamment des choses provocatrices. Et pourtant, ils n’avaient rien à dire en réponse à mon dernier commentaire.

Dans d’autres cas, laisser le dernier mot aux utilisateurs indisciplinés peut être la meilleure solution. Il suffit d’apparaître raisonnable face au dogme, comme le dit Jonathan Rauch1. Il n’est pas nécessaire de convaincre les trolls/extrémistes qu’ils ont tort. Ils s’épuiseront eux-mêmes.

Les shadowbans peuvent au moins gagner du temps avant que ce type d’utilisateur ne s’en rende compte et ne crée un autre compte.

Et ensuite ? Que se passera-t-il lorsque les utilisateurs finiront par comprendre que leurs discussions sont manipulées parce que la prise de pouvoir était trop grande et trop tentante pour qu’un individu y résiste ? Les irréductibles qui n’ont pas intégré la modération fantôme dans le logiciel, comme le fondateur de Discourse, Jeff Atwood, sont l’exception, pas la règle.

Il y a un changement culturel1 qui se produit dans la technologie en ce moment. Des équipes entières sont licenciées et les utilisateurs découvrent la modération fantôme. La technologie honnête est la voie à suivre. Regardez comment les gens réagissent lorsqu’ils découvrent ce qui se passe1,

… quelle est la raison supposée pour laquelle vous pensez qu’un message supprimé est toujours en ligne et visible ?

… Donc les modérateurs suppriment les commentaires, mais les laissent visibles pour l’auteur. Quelle sinistre affaire.

… ce qui est stupéfiant, c’est que vous ne recevez aucune notification et que pour vous, le commentaire semble toujours être là. Ce qui signifie que les modérateurs peuvent définir le récit qu’ils veulent sans avoir à rendre de comptes à personne.

… Wow. Peuvent-ils supprimer votre commentaire et il s’affiche toujours de votre côté comme s’il n’avait pas été supprimé ?

… Wow. Ça fait 12 ans que je suis ici et j’ai toujours pensé que c’était un endroit sympa où les gens pouvaient partager ouvertement des idées. Il s’avère que c’est plus censuré que la Chine. Être supprimé en 3, 2, 1…

Donc, cela se retourne contre vous. Dans l’esprit des utilisateurs, vous êtes maintenant le censeur qui dit : “les utilisateurs ne devraient pas voir ça, seulement moi [le modérateur] ai la constitution pour le supporter.”

Les censeurs, d’ailleurs, ne se désignent jamais comme tels, comme je l’ai souligné ici1. C’est parce que le mot “censeur” est considéré comme négatif depuis l’époque d’Anthony Comstock. Il est donc souvent reformulé par des termes tels que invisibilité sélective1, filtrage de visibilité1, classement1, visible par soi-même1, réduction1, déclassement1, ou déguisement d’un bâillon1. Ce sont toutes des expressions que les plateformes et les défenseurs de la modération fantôme utilisent pour éviter de dire le mot qui fâche, “censure”. La liste est infinie car le but est de masquer, pas de révéler, ce qu’ils font.

Vous dites que vous ne voulez pas d’une discussion philosophique, et pourtant, lorsque vous traitez avec quelqu’un avec qui vous n’êtes pas d’accord tout en respectant les libertés individuelles, il peut être utile de penser comme un scientifique plutôt que comme un avocat ou un soldat et d’être curieux de savoir d’où vient cette personne. Greg Lukianoff appelle cela “Le projet de la connaissance humaine” [clip vidéo] [article].

En bref, les préjudices causés par la censure doivent être pris en compte. Une vision myope des préjudices causés par les trolls sans aucune considération pour les préjudices de la vraie censure d’aujourd’hui ne fait pas avancer les conversations sur la modération de contenu, car vous ne regardez qu’une partie de l’image. La modération fantôme reste cachée à près de 100 % du public.

Étant donné que tant d’utilisateurs sont empêchés d’aider à la médiation des discussions lorsque la modération fantôme a lieu, il est raisonnable de les engager pour obtenir de l’aide. Dans la mesure où aucune tentative n’est faite pour impliquer la communauté par une modération transparente et une contre-discours, j’appellerais cela de l’autoritarisme en ligne - une mentalité divine où les modérateurs prétendent savoir mieux que tout le monde. Et finalement, cela causera plus de problèmes aux administrateurs qu’à leur valeur, comme vous pouvez le constater avec le tumulte périodique auquel sont confrontés Twitter, Facebook et Reddit. Les utilisateurs de ces espaces sont là depuis assez longtemps pour commencer à découvrir la manipulation, et ils veulent quelque chose de mieux.

2 « J'aime »
13

Mon approche de la situation serait d’ajouter une note au compte de l’utilisateur avec les Notes d’Utilisateur Discourse pour avertir les autres modérateurs du site au sujet de l’utilisateur et m’assurer qu’ils soient rapidement bannis pour toute nouvelle infraction. Je n’ai jamais rencontré de situation où l’utilisateur ne finissait pas par disparaître.

C’est aussi mon expérience, la modération transparente aide les gens à comprendre les règles et à décider s’ils veulent les suivre ou converser ailleurs. L’étude que j’ai citée concernant la charge de travail des modérateurs le confirme également.

Je pense que nous devrions faire notre part pour essayer de rendre le monde meilleur. Le type de problème que je décris ici concerne les utilisateurs qui semblent (de mon point de vue) avoir des problèmes de santé mentale. J’aimerais savoir comment les aider à devenir de meilleurs citoyens, tant sur Internet que dans le monde réel.

Il semble que vous partiez d’une bonne intention, Simon ! Je pense que l’individu qui “ne disparaît tout simplement pas” après qu’on lui ait demandé de partir est très rare, mais si cela se produit, je dirais qu’il mérite le même respect que nous accordons à tout le monde en ce qui concerne un “droit à un procès” en quelque sorte. Un procès complet n’aura pas lieu pour chaque infraction en ligne, donc le compromis que je propose est que tous les utilisateurs méritent de savoir quand ils ont été modérés. Retirer cela, c’est comme retirer le pouvoir judiciaire. En ce qui concerne la santé mentale, même les psychiatres ne font pas de telles évaluations sans examiner personnellement l’individu, donc je ne pense pas que nous devrions le faire non plus. “Ils sont fous” deviendra inévitablement l’excuse pour retirer le droit à un procès en utilisant la modération cachée.

Si le contenu est illégal, quelque chose qui, “dans son contexte, cause directement un préjudice grave et imminent spécifique”\u003csup\u003e1\u003c/sup\u003e (une définition de Nadine Strossen), alors cela devrait être signalé aux autorités.

Enfin, si vous pensez que l’automutilation est un facteur, vous pourriez recommander une ligne d’assistance téléphonique en cas de crise. Théoriquement parlant, il est possible que la suppression cachée de commentaires d’utilisateurs prônant la violence envers eux-mêmes ou envers autrui les rende plus susceptibles d’agir selon leurs croyances erronées.

Considérez un groupe que vous considérez comme haineux. Ils pourraient toujours supprimer les appels à la violence réelle. Mais si les modérateurs le font secrètement, l’individu violent n’a aucun signal que ses opinions n’étaient pas en accord avec la communauté. Qui peut dire si cela le rend plus ou moins susceptible d’agir ? Il peut percevoir l’absence de contre-réponse comme une approbation tacite.

Mon argument est le même que celui du juge Brandeis, que la lumière du soleil est le meilleur désinfectant\u003csup\u003e1\u003c/sup\u003e et qu’une solution nécessite l’implication de la communauté. Plutôt que de supprimer secrètement des commentaires, même haineux, vous pouvez leur donner un signal concernant les suppressions. Ce signal devient une chance pour eux de bénéficier d’une autre interaction, que ce soit de votre communauté, d’une autre communauté ou des forces de l’ordre. Ce faisant, vous pouvez donner aux franges de la société une chance de se sentir moins isolées, vous rendant ainsi, ainsi que le monde, plus sûrs.

En général, j’essaie de suivre les conseils de Jonathan Rauch. Il dit,

“La personne à qui vous parlez n’est pas la personne à qui vous parlez directement…”

En gros, vous n’avez pas besoin de convaincre tout le monde que vous avez raison. Il suffit de paraître raisonnable face à quelqu’un d’autre qui est dogmatique, voire censurant. Bien qu’il soit vrai que quelqu’un puisse légalement se comporter de manière censurante en conversation en essayant de vous faire taire avec des mots haineux, il a aussi l’air idiot à condition que vous lui accordiez la latitude appropriée. Toute perception que cela ne fonctionne pas en ligne pourrait très bien être due à l’utilisation généralisée de suppressions cachées. Lorsque vous essayez d’engager un groupe “haineux” dans son propre espace, vous pourriez être modéré secrètement à votre insu !

Dans la même conférence, Rauch dit, “Les haineux, au final, s’enterrent eux-mêmes si vous les laissez parler.” Et il saurait ce qui fonctionne. En tant qu’homme gay ayant grandi dans les années 60, décrit ici\u003csup\u003e1\u003c/sup\u003e, Rauch est apparemment actif dans le mouvement des droits des homosexuels depuis des décennies avec sans doute un succès considérable. Il vaut donc la peine de l’écouter sur le sujet de la liberté d’expression, quelles que soient vos opinions sur l’homosexualité ou le mariage gay. De l’Inquisition espagnole, à Anthony Comstock, au communisme et au maccarthysme, en passant par le PMRC de Tipper Gore, l’ère actuelle des médias sociaux n’est pas la première fois que la liberté d’expression est contestée, et ce ne sera pas la dernière.

J’ai trouvé que l’état d’esprit de Rauch était extrêmement efficace pour modérer mon propre engagement et laisser les autres s’exprimer tout en faisant passer mon message. Je découvre continuellement de nouvelles façons d’accepter que (a) je ne peux changer que moi-même, et (b) que cela suffit pour avoir un impact positif dans le monde.

4 « J'aime »
14

Il y a peut-être deux problèmes distincts ici. Le premier problème est que les modérateurs font de leur mieux pour gérer les comportements problématiques. Le shadow banning des utilisateurs odieux a été suggéré comme approche pour cela ici : Discourse Shadowban. Je peux comprendre la motivation, mais je ne pense pas que cela gagnera beaucoup de terrain en tant que technique de modération - si un utilisateur est aussi persistant, ce n’est que retarder un conflit inévitable.

Le deuxième problème est ce qui se passe sur d’autres plateformes où la portée des publications de certains utilisateurs est limitée, sans leur donner aucune indication sur ce qui se passe. Ce qui est notable, c’est que ces utilisateurs n’ont pas enfreint les conditions d’utilisation du service. Il serait techniquement possible de créer un plugin Discourse qui mettrait en œuvre quelque chose comme cela, mais à moins que le site ne soit extrêmement actif, je pense qu’il serait rapidement découvert. Je pense en fait que Discourse et d’autres plateformes communautaires décentralisées sont l’antidote à ce problème. À titre d’exemple extrême, si quelqu’un veut créer une communauté où dire « la Terre tourne autour du Soleil » est considéré comme une désinformation dangereuse, il est libre de le faire. Les personnes ayant une vision héliocentrique du monde peuvent simplement trouver une autre communauté à rejoindre.

Un autre problème serait s’il était impossible de trouver un hébergement ou un processeur de paiement pour une communauté qui irait à l’encontre du récit dominant sur une question particulière. Outre essayer de promouvoir les valeurs de curiosité intellectuelle et de diversité, je n’ai pas de grandes suggestions sur la façon de gérer cela.

Peut-être, mais aussi, trouver des solutions à de vrais problèmes est une bonne stratégie commerciale. Comment aider les gens avec leur comportement de troll, par opposition à simplement les bannir, semble être un problème non résolu. Je peux imaginer que Discourse fournisse des outils pour aider les communautés à cet égard. Cela pourrait également être externalisé à un service externe composé de thérapeutes formés.

5 « J'aime »
15

Simon, j’apprécie que vous preniez le temps de répondre. Je vois que vous n’êtes pas convaincu par mon argument selon lequel les trolls peuvent parfois être laissés seuls (c’est-à-dire par une modération transparente par opposition à une modération cachée), ni que la modération cachée pourrait inciter Discourse à une utilisation accrue. Peut-être est-ce vrai, peut-être pas. Je pense que le temps nous le dira, mais pas nécessairement bientôt. Je suis fortement en désaccord sur le fait que la modération cachée soit « rapidement découverte ». Je suis d’accord pour dire que la promotion de la curiosité intellectuelle et de la diversité ne doit pas être sous-estimée, et qu’une bonne stratégie commerciale joue un rôle fondamental.

2 « J'aime »
16

Liaison croisée de la position officielle de Discourse ici

12 « J'aime »
17

Peut-être ai-je été trop prudent en exprimant mes pensées ici :

Je pense que le bannissement caché est une très mauvaise idée. Cela dit, j’ai beaucoup de préoccupations concernant l’avenir d’Internet, mais en ce qui concerne Discourse, je ne suis pas préoccupé par le fait que le bannissement caché ou la manipulation furtive du contenu d’un site soit quelque chose qui prendra de l’ampleur. Premièrement, comme mentionné ci-dessus, la fonctionnalité n’existe pas dans le code de base de Discourse et l’équipe n’a pas l’intention de développer des plugins pour cela. Deuxièmement, je ne vois pas de cas d’utilisation valide pour ajouter ce type de fonctionnalité à un site Discourse - je ne peux pas imaginer un cas où sa mise en œuvre bénéficierait aux propriétaires d’un site.

S’il y a une autre chose que je pourrais promouvoir, ce serait la valeur du désaccord. Promouvoir le désaccord, par opposition à l’accord, est le moyen le plus rapide d’obtenir tous les points de vue disponibles d’un groupe de personnes.

5 « J'aime »
18

Je sais qu’il existe des situations où un plugin/une fonctionnalité de shadowban est nécessaire.

Nous avons un programme payant et 99 % de nos étudiants l’adorent. Ensuite, nous avons quelques pommes pourries qui vont sur les forums et « empoisonnent » les autres avec de la négativité. Maintenant, ces personnes ont payé pour quelque chose, donc la pomme pourrie répand de la FUD (Fear, Uncertainty, Doubt - Peur, Incertitude, Doute) et de nouvelles personnes arrivent et voient la FUD, alors elles demandent un remboursement.

La pomme pourrie a également payé, donc nous ne voulons pas qu’elle se fasse rembourser non plus, car ce sont généralement ces types de personnes qui consomment le plus de notre temps.

Mon personnel passe des heures et des heures à traiter avec les pommes pourries et à les empêcher d’empoisonner les bonnes pommes.

Alors oui… nous voulons simplement shadowban les pommes pourries afin que l’équipe de support puisse répondre à leurs publications et commentaires, et qu’ils pensent être « dedans » et que la vie soit joyeuse et heureuse pour notre équipe de support, et que nos utilisateurs géniaux ne soient pas empoisonnés.

Avant que vous ne disiez « Remboursez simplement les pommes pourries »… non, ce n’est pas la solution.

Nous avons besoin d’une fonctionnalité de shadowban pour les sujets et les réponses, et par utilisateur s’il s’agit d’un shadowban permanent.

Il existe un cas d’utilisation légitime pour cette fonctionnalité.

2 « J'aime »
19

Par curiosité, pourquoi le retrait des membres indésirables de votre communauté ne serait-il pas la solution dans cette situation ?

Ne serait-ce pas aussi un problème si/quand ils découvraient qu’ils payaient pour quelque chose qu’ils n’obtenaient pas pleinement ? (c’est-à-dire la participation à votre communauté)

5 « J'aime »
20

Ils rembourseraient. Ils obtiennent beaucoup plus que la communauté. Les forums ne sont qu’une petite partie. Logiciels, outils, éducation. Ce qu’ils ne peuvent pas faire, c’est semer la peur, l’incertitude et le doute (FUD) chez les autres membres de la communauté et amener les autres à douter ou à vouloir un remboursement. Après 20 ans dans ce domaine, nous savons qu’il y a un certain pourcentage de personnes qui seront négatives à propos de tout dans la vie, nous devons donc protéger nos clients payants qui agissent.

Si ce n’était qu’un forum pour lequel ils payaient, ce serait différent… mais il s’agit d’un produit à 2 000 $, nous devons donc protéger nos membres payants contre les rabat-joie.

2 « J'aime »