Shadowbans são ruins para o discurso, e eis o porquê

Eu li alguns posts encorajadores aqui sobre o tema de moderação, como o do @codinghorror aqui^[1](Recommendations for handling difficult situations), e queria dar minha contribuição.

Divulgações recentes pelo Twitter^[1](https://twitter.com/bariweiss/status/1601013855697588224) reacenderam o debate sobre o uso de ferramentas de moderação semelhantes a shadowban. Elas são boas ou ruins para o discurso? Com este post, espero gerar algum debate entre moderadores e usuários sobre o uso de shadowbans.

Minha hipótese é que a moderação transparente fomenta uma base de usuários preparada, onde moderadores e usuários confiam uns nos outros, e a moderação oculta cria mais problemas do que resolve. Portanto, argumento que coisas como o shadowban nunca^* devem ser usadas, mesmo para fóruns “pequenos” como instalações do Discourse.

Sobre mim

Sou o autor do Reveddit, um site que mostra aos Redditors seu conteúdo removido secretamente. O Reveddit foi lançado em 2018 e, desde então, tenho me manifestado no Reddit^[1](https://old.reddit.com/user/rhaksw/), Hacker News^[1](rhaksw's comments | Hacker News) e, mais recentemente, no Twitter^[1](https://twitter.com/rhaksw/with_replies) sobre minha oposição ao uso generalizado de ferramentas semelhantes a shadowban, que chamo de Moderação Oculta. Caso haja alguma dúvida de que alguma forma de moderação oculta está acontecendo em todas as plataformas mais populares, por favor, veja também minha palestra para Truth and Trust Online 2022^[1](Reveddit.com: Improving online discourse with transparent moderation. October 12, 2022), slides 8-9 às 5:50, ou minha participação no Using the Whole Whale^[1](https://www.wholewhale.com/podcast/what-is-shadow-moderation-how-is-it-silencing-speech/). Se houver alguma dúvida de que a prática é impopular entre usuários de todos os tipos, por favor, veja as reações de milhares de usuários no FAQ do Reveddit^[1](reveddit).

Prefácio

Para referência, aqui estão algumas definições existentes de comportamento semelhante a shadowban:

• “tornar deliberadamente o conteúdo de alguém indetectável para todos, exceto para a pessoa que o postou, sem o conhecimento do autor original”. - Blog do Twitter^[1](https://blog.twitter.com/en_us/topics/company/2018/Setting-the-record-straight-on-shadow-banning)
• “Um usuário hellbanned é invisível para todos os outros usuários, mas crucialmente, não para si mesmo. Do ponto de vista deles, eles estão participando normalmente da comunidade, mas ninguém nunca responde a eles. Eles não podem mais perturbar a comunidade porque são efetivamente um fantasma.” - Coding Horror^[1](Suspension, Ban or Hellban?)

E aqui estão duas definições minhas:

• Moderação Transparente: Quando os usuários são notificados sobre as ações tomadas contra seu conteúdo.
• Moderação Oculta: Qualquer coisa que oculte as ações do moderador do autor do conteúdo que foi agido.

Note que quando as plataformas falam sobre transparência, elas simplesmente significam que delineiam claramente suas políticas. Isso não é o mesmo que moderação transparente.

E para ser claro, eu apoio o uso de moderação que seja transparente. Eu não apoio a intervenção governamental nas mídias sociais para impor transparência às plataformas, como está sendo tentado pelo PATA^[1](https://www.coons.senate.gov/imo/media/doc/text_pata_117.pdf) nos EUA ou pelo DSA^[1](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=uriserv%3AOJ.L_.2022.277.01.0001.01.ENG%26toc=OJ%3AL%3A2022%3A277%3ATOC) na Europa (Platform Accountability and Transparency Act e Digital Services Act, respectivamente). Portanto, também aceito o direito legal das plataformas de se envolverem em moderação oculta.

O argumento a favor da moderação transparente

O argumento a favor da moderação transparente é melhor definido como um argumento contra a moderação oculta.

A moderação oculta vai contra o habeas corpus, um conceito de mil anos de que o acusado tem o direito de confrontar seu acusador. Os valores do habeas corpus estão consagrados na Constituição dos EUA como uma emenda (a 6ª), mas também é uma dignidade básica que esperamos para nós mesmos e, portanto, devemos dar aos outros. Simplesmente, punições secretas são injustas.

Agora você pode dizer: “mas estas são plataformas privadas!” De fato são. No entanto, em particular, ainda nos esforçamos para defender certos ideais, como explica Greg Lukianoff da FIRE aqui.

John Stuart Mill fez o mesmo argumento em On Liberty, onde escreveu: “A proteção, portanto, contra a tirania do magistrado não é suficiente: é necessária proteção também contra a tirania da opinião e do sentimento predominantes.”^[1](The Project Gutenberg eBook of On Liberty, by John Stuart Mill.)

Agora você pode dizer: “Precisamos disso para lidar com spam de bots!” Isso só funcionará por um curto período. A longo prazo, os bots descobrirão como verificar a visibilidade de seu conteúdo, enquanto os usuários, em sua maioria, não o farão. Portanto, a moderação transparente funcionará tão bem para bots, e a moderação oculta prejudica apenas indivíduos genuínos.

Talvez você diga: “Estou usando isso apenas em um fórum pequeno.” E aí eu perguntaria, é realmente necessário recorrer à decepção? Sentir-se confortável com a moderação oculta em uma pequena instalação do Discourse pode ser um passo para apoiar seu uso em plataformas maiores, e o dano lá é claro para mim. Todos os lados de todas as questões em todas as geografias em todas as plataformas são impactados. Mais de 50% dos Redditors têm algum comentário removido em seu último mês de uso. Interrompe um número incontável de conversas, talvez por medo do que acontecerá se o ódio for “libertado”. Mas o Reveddit existe há quatro anos, e isso não aconteceu. Em vez disso, o que observei foram comunidades mais saudáveis, e linkei muitos exemplos disso em minha palestra.

A moderação oculta em escala também capacita seu oponente ideológico. Grupos que você considera incivilizados são mais propensos a fazer uso incivil da moderação oculta. Quaisquer benefícios que você tenha enquanto estiver na posição capacitada de implementar tais ferramentas se esgotarão com o tempo. E enquanto você usar a moderação oculta, não vencerá discussões sobre seu uso em outros lugares.

Até onde sei, pouca pesquisa foi feita para estudar os efeitos da moderação oculta. Conheço um estudo que indica que a carga de trabalho do moderador diminui à medida que a transparência aumenta^[1](Does Transparency in Moderation Really Matter?: User Behavior After Content Removal Explanations on Reddit | by Shagun Jhaver | ACM CSCW Blog | Medium). No entanto, sabemos que sociedades abertas prosperam em comparação com aquelas que são fechadas.

Sem controle, a moderação oculta cria grupos tribais isolados que não estão preparados para conversas do mundo real onde tais proteções não estão disponíveis. Isso pode levar a atos de violência ou autoagressão porque o dano infligido por palavras é real quando falhamos em aceitar os limites do que podemos controlar. Podemos, em vez disso, optar por responder ao ódio com contra-discurso e encorajar as bases de usuários a fazerem o mesmo.

Finalmente, novas legislações não podem resolver isso para nós. Qualquer lei desse tipo abalaria nossas liberdades individuais e teria a consequência não intencional de (a) capacitar a própria entidade contra a qual a declaração de direitos foi projetada para proteger, ou (b) não funcionar, pois não há como impor transparência sem dar ao governo acesso a todo o código. Então você está de volta ao ponto de partida ou pior do que quando começou. O apoio ao habeas corpus e, portanto, ao discurso civil é melhor alcançado através do apoio cultural à moderação realmente transparente. Qualquer coisa aquém disso seria um curativo cobrindo uma ferida supurante.

Conclusão

Em conclusão, não se deve adotar a posição: “ele está fazendo isso, então eu tenho que fazer para competir em igualdade de condições”. Considere, em vez disso, que ambos podem ter um péssimo equilíbrio. Instalações do Discourse e outros fóruns que não usam moderação oculta têm uma base mais forte. Suas bases de usuários estão preparadas, moderadores e usuários confiam uns nos outros e, portanto, ambos se sentem livres para falar abertamente e honestamente. E, dado o uso generalizado da moderação oculta, é agora mais importante do que nunca apoiar vocalmente a moderação transparente.

Apêndice

Um uso ainda não relatado de moderação oculta no Twitter pode ser quando Tweets são automaticamente ocultados com base em menções de certos links. Descobri isso quando compartilhei um link para meu novo blog para o qual comprei um domínio barato de US$ 2/ano com a TLD .win. Após compartilhá-lo via Twitter, notei que meus tweets estavam aparecendo para MIM, mas NÃO para outros. Por exemplo, este tweet^[1](https://twitter.com/BrookingsInst/status/1587581502971314176) não mostra a resposta minha, mesmo quando você clica no botão “Mostrar respostas adicionais”. Para ver minha resposta, você tem que acessar o link diretamente^[1](https://twitter.com/rhaksw/status/1587652507009884160). Efetivamente, essa resposta não é visível para ninguém que não me conheça, e o sistema oculta esse fato de mim enquanto estou logado.

* A única circunstância em que acho que a censura generalizada é útil é quando a sociedade esqueceu seus malefícios. Nesse caso, ela inevitavelmente retorna, mesmo que apenas para nos lembrar mais uma vez de seus efeitos deletérios.

Muito interessante, obrigado.

Poder-se-ia facilmente argumentar que há outra camada também, motores de busca como o Google!

Leitura muito interessante. No entanto, eu me pergunto se há algum uso para shadowbans no Discourse.

Sim, existe um plugin de shadowban, mas ele é raramente usado. Ele tem uma (1) estrela no Github e as estatísticas que temos dentro do Communiteq revelam que o número de fóruns Discourse que estão usando ativamente isso é inferior a 0,5%.

Então, por que a adoção de shadowbanning na plataforma Discourse é tão baixa? Não é porque shadowbans são ruins (o que são), tem outro motivo. De um ponto de vista técnico, shadowbans são muito fáceis de detectar no Discourse. Simplesmente visite o fórum sem fazer login ou usando uma conta diferente e observe as diferenças. E isso é possível porque o Discourse não é uma plataforma de mídia social que usa um algoritmo que decide o que você verá e em que ordem será apresentado. No Discourse, o conteúdo que você vê não depende do que você fez / viu / leu ou escreveu antes. E se não há algoritmo, não há lugar para diminuir a importância de certo conteúdo. Só há a opção de escondê-lo completamente em vez de mostrá-lo.

Eu também não apoio todas as formas de moderação transparente, porque a moderação transparente ainda pode ser subjetiva.

Além do meu trabalho no ecossistema Discourse, também sou fundador de uma empresa que combate desinformação e discurso de ódio online. Durante palestras, sou frequentemente perguntado sobre exemplos de interferência estrangeira nos processos democráticos neste país (a Holanda), onde as pessoas que fazem a pergunta sempre esperam que eu conte alguma história sobre trolls russos. Mas, na verdade, os principais exemplos de interferência nos processos democráticos por atores estrangeiros que vimos neste país são plataformas de mídia social como Twitter ou YouTube banindo ou aplicando shadowban a políticos holandeses, sem qualquer tipo de revisão por um tribunal ou outro órgão independente.

E isso é ruim.

Oi Richard,

Obrigado por sua opinião. Não estou totalmente convencido de que o uso seja pequeno no Discourse. Não temos como verificar o código personalizado das instalações, etc., sem primeiro construir e compartilhar ferramentas para que os usuários revisem o comportamento desses sistemas por conta própria. Mesmo que o uso fosse pequeno, ainda é importante tomar uma posição pública porque o uso em outros lugares começou pequeno e agora é generalizado. Terei que discordar do seu comentário aqui,

Então, por que a adoção de shadowbanning na plataforma Discourse é tão baixa? Não é porque shadowbans são ruins (o que são), tem outro motivo. Do ponto de vista técnico, shadowbans são muito fáceis de detectar no Discourse. Basta visitar o fórum sem fazer login ou usando uma conta diferente e notar as diferenças.

Embora isso seja tecnicamente possível, a maioria dos usuários não pensará nisso. Afinal, as remoções de comentários do Reddit funcionam da mesma maneira, o que você pode ver comentando em r/CantSayAnything. 99% dos Redditors não têm ideia de que funciona assim. Eu tive uma conta no Reddit por sete anos antes de descobrir seu uso generalizado de moderação oculta. Eu também tinha visitado como leitor por provavelmente três anos antes disso. E mesmo agora que o Reveddit existe há quatro anos, eu estimaria que menos de 1% dos Redditors entendem como funcionam as remoções de comentários. Finalmente, mesmo depois de construir o Reveddit, não foi até quatro anos depois, neste verão, que eu realmente entendi que ferramentas de moderação oculta existiam e eram amplamente usadas em todas as principais plataformas.

Concordo com seu ponto de que a manipulação de feeds algorítmicos é mais difícil de detectar. E como você diz, o conteúdo não filtrado por algoritmos é revisável. No entanto, seções de comentários ordenadas por data sempre se encaixam nessa categoria, e acredito que todos os principais sites de mídia social as possuem. Portanto, elas são revisáveis, desde que alguém construa ferramentas para fazer isso, porque novamente os usuários não pensam em verificar isso por conta própria. Mesmo que você verifique o status de um comentário uma vez, é possível que um moderador remova silenciosamente seu comentário uma hora depois, invalidando sua verificação! É por isso que construí o Reveddit Real-Time¹, uma extensão que consulta o sistema para remoções ocultas e o notifica quando isso acontece.

Tais ferramentas devem ser construídas para todas as plataformas até que haja confiança suficiente entre os usuários e os sites de mídia social de que a moderação oculta ficou no passado. A moderação oculta é tão generalizada que acho que todos deveriam assumir que está sendo usada por qualquer sistema que estejam usando para se comunicar, a menos que o sistema negue expressamente a prática. E mesmo nesse caso, você precisa observar a redação deles, como a escolha do Twitter de usar publicamente a palavra “rank”¹ em vez de descritores internos como “de-amplify”¹. O YouTube, por outro lado, reconhece mais abertamente que irá “reduzir”¹ o conteúdo.

a moderação transparente ainda pode ser subjetiva.

Você pode expandir sobre isso?

Além do meu trabalho no ecossistema Discourse, também sou fundador de uma empresa que combate desinformação e discurso de ódio online.

Interessante, você pode dizer qual? E as palestras que você menciona estão disponíveis online? Concordo que as proibições do YouTube também são preocupantes. Suspeito que o fosso deles, como o de outros, foi construído usando ferramentas de moderação oculta que “reduzem” ou “removem silenciosamente”. Portanto, devemos focar nisso primeiro.

Acho que a verdadeira censura da nossa era é a moderação oculta. A moderação transparente pode ser censura se não for “neutra em termos de ponto de vista”, mas é mais frequentemente semelhante à edição. Um argumento final contra a censura real vem de Bob Corn-Revere, um advogado líder da primeira emenda: “o censor nunca tem o lado moralmente superior.”¹

Concordo que a moderação deva ser transparente, mas consigo ver como o banimento oculto seria tentador para lidar com trolls que não desaparecem. Quais são algumas maneiras alternativas de lidar com alguém que continua criando novas contas após ter sido banido pela equipe de um site?

Como um dos fundadores do segundo maior provedor de hospedagem gerenciada do Discourse, eu tenho essa forma - pelo menos em relação às instâncias que hospedamos - então estou na posição de sorte de poder realizar alguns cálculos estatisticamente significativos aqui. E se houvesse uma funcionalidade generalizada de shadowban que - de alguma forma mágica - fosse completamente desjuntiva das “nossas” instâncias, eu nem teria ouvido falar dela nos últimos 9 anos. Isso é, bem, altamente improvável.

Seu post parece esmaecer a distinção entre shadowbanning (onde todas as postagens de certos usuários são suprimidas) e shadow moderation (referente a postagens individuais), mas acho que essa distinção é importante.

Além das diferenças técnicas onde o shadowbanning é muito mais fácil de detectar (se você conseguir encontrar uma única postagem de um certo usuário, eles não estão sendo shadowbanned), o shadowbanning é muito mais perverso, já que a liberdade de expressão de alguém está sendo restringida com base nas coisas que eles disseram antes, onde a shadow moderation suprime sua fala atual.

Acho que o principal problema com a shadow moderation é que ela é subjetiva, não que ela seja silenciosa. Quando as pessoas são notificadas sobre a remoção de conteúdo, isso também pode levar a comportamentos indesejados (por exemplo, repassar ou trollar). Um exemplo é o que aconteceu no LinkedIn durante a Covid-19. Eles notificam sobre a exclusão de conteúdo na maioria das vezes, então as pessoas começaram a tirar fotos de suas postagens removidas e repassá-las. Isso não só chamou mais atenção para suas postagens (que permaneceram sob o radar porque o LinkedIn aparentemente não consegue fazer reconhecimento de imagem para texto nessas fotos), mas também alimentou as teorias da conspiração do “grande reset” de que havia um poder maior restringindo sua liberdade de expressão.

Bem, isso:

Olá Simon, o contexto é muito importante. Você tem algum exemplo específico? Em geral, eu sugeriria imaginar que esse fardo não precisa recair inteiramente sobre os ombros dos gerentes de conteúdo. Envolva sua comunidade e explique o dilema. Talvez possa ser resolvido sem uma proibição. Se você acha que isso é ingênuo, então mais contexto é necessário para discutir.

Richard, obrigado por esses esclarecimentos. O dado que você fornece é bom de saber. Acho que podemos concordar que a moderação oculta não parece ser um grande problema no Discourse hoje.

Pessoalmente, ainda não vou declarar nenhum “sinal verde” aqui, pelas razões já expostas e porque o uso dela mesmo em um único fórum pode ter um grande impacto. Por exemplo, certos grupos no Reddit fazem um uso mais intenso da moderação oculta do que outros. Os usuários podem ser levados a confiar no sistema como um todo com base no fato de que certos grupos os notificam sobre remoções. Então, eles pensam que isso acontece o tempo todo. E o que muitas vezes acontece em seguida é que os grupos mais manipuladores são confiáveis mais simplesmente porque eles não dizem aos usuários quando removem conteúdo. Com o tempo, isso levou mais grupos a optarem pela remoção sem notificação. O Reveddit ajuda a combater isso um pouco, mas ainda é apenas um paliativo sem maior conscientização.

Não é difícil para mim imaginar uma instalação do Discourse que não exerça moderação transparente e, assim, tire vantagem dos usuários da mesma forma. Concordo que o uso generalizado da moderação oculta em outros lugares não significa que seu uso seja generalizado no Discourse. Considero o plugin publicado e os pedidos de correção de bugs como evidência de que a moderação oculta está, pelo menos, batendo à porta do Discourse.

Além das diferenças técnicas onde o shadowbanning é muito mais fácil de detectar (se você conseguir encontrar uma única postagem de um certo usuário, ele não está shadowbanned),

Do ponto de vista do usuário, esse teste não funciona. Sistemas que moderam seletivamente o conteúdo oculto não anunciam que o fazem. Além disso, “mais fácil” não significa “fácil”. Este usuário^[1] foi shadowbanned em todo o site do Reddit por três anos antes de descobrir isso, e muitos outros usuários são regularmente shadowbanned de subreddits, por exemplo, como documentado em r/LibertarianUncensored^[2].

O Reddit agora também tem algo chamado Crowd Control, que permite aos moderadores de subreddit acionar um botão para remover automaticamente todos os comentários de assinantes não regulares sem notificação. Em um único tópico do r/conservative^[3], 4.000 comentários, mais de 50%, foram removidos automaticamente e ocultamente. Nenhum desses usuários tem ideia de que sua participação nesse grupo é frequentemente silenciada.

o shadowbanning é muito mais maligno, pois a liberdade de expressão de alguém está sendo restringida com base nas coisas que disse antes, onde a moderação oculta suprime sua fala atual.

O shadowbanning [do conteúdo de uma conta inteira] é uma forma de moderação oculta. O termo “invisibilidade seletiva”^[4] pode descrever melhor o que você quis dizer com “moderação oculta”. Ambos, na minha opinião, podem ser igualmente prejudiciais devido ao efeito de adormecimento descrito acima, e porque a invisibilidade seletiva ainda pode ser aplicada sem revisão humana do conteúdo moderado. No Reddit, isso constitui a maioria das remoções de comentários; os moderadores não passam por eles e os aprovam, e imagino que o mesmo ocorra em outras plataformas.

Finalmente, concordo que as pessoas podem debater o que constitui censura, e até mesmo o que significa ser completamente transparente sobre a moderação. Acho que o ponto mais relevante aqui é que estamos tão longe da moderação transparente nas mídias sociais, e tão longe da conscientização pública sobre a onipresença da moderação oculta, que qualquer passo nessa direção é significativo. Em outras palavras, não deixe que a perfeição atrapalhe o que é bom.

Olá Rob, concordo com o @simon que existem certas instâncias onde o shadowban pode ser útil numa base puramente funcional. Pessoalmente, não quero entrar nas questões morais e filosóficas mais profundas deste tópico, mas já vi múltiplos casos que são bastante claros. Geralmente envolvem uma pessoa específica que todo o fórum conhece como um troll descarado, e a pessoa foi banida em múltiplas ocasiões e continua a voltar com diferentes nomes de usuário, e esse tipo de causador de problemas invariavelmente usa a rede TOR. O mesmo vale para usuários descontentes que postam furiosas diatribes profanas e insultos terríveis e até imagens obscenas perturbadoras, ou mesmo ameaças físicas específicas e direcionadas. Portanto, os tipos de casos a que me refiro são exemplos claros e inequívocos de usuários que absolutamente não deveriam estar num fórum (ou mesmo livres nas ruas em alguns casos), e o seu comportamento online viola as normas de praticamente todas as pessoas decentes no mundo. Os shadowbans podem pelo menos ganhar algum tempo antes que esse tipo de usuário perceba e crie outra conta.

Essa é complicada. Não estou em posição de dar exemplos, mas o subtítulo no tópico do Discourse Shadowban resume bem: “O último recurso para lidar com trolls que simplesmente não vão embora.” E também isto:

Minha abordagem para a situação seria adicionar uma nota à conta do usuário com Discourse User Notes para dar a outros moderadores no site um aviso sobre o usuário e garantir que eles sejam rapidamente banidos por qualquer nova infração. Nunca me deparei com uma situação em que o usuário eventualmente não desaparecesse.

Acho que deveríamos fazer a nossa parte para tentar tornar o mundo um lugar melhor. O tipo de problema que estou descrevendo aqui é lidar com usuários que parecem (do meu ponto de vista) estar lidando com problemas de saúde mental. Eu gostaria de saber como ajudá-los a serem melhores cidadãos tanto da internet quanto do mundo real.

Poderíamos facilmente argumentar que há outra camada também, mecanismos de busca como o Google!

Certo. Estou mais preocupado com remoções ocultas em seções de comentários ordenadas por data. Lá, o dano é claro e é relativamente fácil construir ferramentas que mostrem onde isso está acontecendo. O truque, eu acho, é aumentar o apoio a esse movimento. Ele ainda não existe. As pessoas nem sabem que está acontecendo. E, na medida em que as pessoas ainda dizem “precisamos de tais ferramentas para este pior cenário”, acho que isso é reducionista porque os danos dessa nova forma de censura oculta são deixados de lado ou nunca são considerados. Ainda assim, pode ser uma conversa que precisa acontecer se quisermos aumentar o apoio para ter conversas moderadas de forma transparente.

Você está absolutamente certo em dizer que algoritmos opacos também podem moderar ocultamente. Ouvi rumores de pesquisas que argumentam que o Google manipula o que aparece em suas sugestões de pesquisa enquanto você digita, no entanto, não tenho uma fonte para isso, então permanece um rumor para mim. Poderíamos também intencionalmente enviesar dados de treinamento, ou falhar em notar o viés existente nos dados. Ou, poderíamos argumentar que o que constitui viés é subjetivo, já que o mundo digital nunca refletirá precisamente o mundo real.

Essas são todas discussões mais complexas, muitas das quais ocorrerão apenas a portas fechadas. Acho que elas seriam mais prováveis de ocorrer se houvesse uma maior conscientização sobre a prevalência da moderação oculta em seções de comentários e, portanto, um maior apoio para não fazer isso; ou seja, apoio à moderação transparente. Não estou preso a esses termos, a propósito, então se você tiver ideias melhores, por favor, grite-as.

Olá Rahim,

Fico feliz em tê-lo(a) participando da discussão.

Pessoalmente, não quero entrar nas questões morais e filosóficas mais profundas deste tópico, mas já vi vários casos que são bem claros.

Você pode citar alguns desses exemplos? Sem eles, esta é, de fato, mais uma discussão teórica do que empírica. Note que algum conteúdo é ilegal1. Tal conteúdo deve ser reportado às autoridades. Presumo que você esteja falando de discurso constitucionalmente protegido que, de outra forma, causa danos aos usuários.

Eu linkei vários casos demonstrando como o uso contínuo de moderação oculta é prejudicial e ainda não vi um exemplo de um troll que (a) está constantemente postando discurso que beira o constitucionalmente protegido e (b) não vai embora depois de ser avisado. Talvez seja porque é raro.

O cenário hipotético de pior caso é sempre usado para justificar a consolidação de poder. No Reddit, alguns grupos como r/news têm um moderador para cada um milhão de assinantes que possuem contas. O número de leitores provavelmente estende essa proporção por pelo menos um fator de dez. Isso é notável quando se considera que os moderadores lá são voluntários anônimos e não treinados. Eles decidem o que centenas de milhões de pessoas verão nas seções de comentários sem supervisão nem mesmo dos autores desses comentários.

Geralmente envolve uma pessoa específica que todo o fórum conhece como um troll descarado, e a pessoa foi banida em várias ocasiões e continua voltando sob diferentes nomes de usuário, e esse tipo de encrenqueiro invariavelmente usa a rede TOR. O mesmo vale para usuários descontentes que postam diatribes profanas furiosas e insultos terríveis e até imagens obscenas perturbadoras, ou mesmo ameaças físicas específicas e direcionadas.

Isso justifica a implementação de uma forma de censura que a base de usuários não tem a confiança de conhecer?

Aqui está um caso em que interagi com alguém que estava com vontade de brigar. Você pode ver pelo histórico de comentários de BillHicksScream1 que eles andam dizendo coisas provocativas o tempo todo. E, no entanto, eles não tiveram nada a dizer em resposta ao meu último comentário.

Em outros casos, dar a palavra final aos usuários indisciplinados pode ser o melhor curso. Você só precisa parecer razoável diante do dogma, como diz Jonathan Rauch1. Não é necessário convencer trolls/extremistas de que estão errados. Eles se cansarão.

Shadowbans podem pelo menos ganhar algum tempo antes que esse tipo de usuário perceba e crie outra conta.

E então o quê? O que acontece quando os usuários inevitavelmente juntam as peças e percebem que suas discussões estão sendo manipuladas porque a tomada de poder foi grande demais e tentadora demais para qualquer indivíduo resistir? Os resistentes que não incorporaram a moderação oculta ao software, como o fundador do Discourse, Jeff Atwood, são a exceção, não a regra.

Há uma mudança cultural1 acontecendo na tecnologia agora. Equipes inteiras estão sendo demitidas e os usuários estão descobrindo a moderação oculta. Tecnologia honesta é o caminho a seguir. Veja como as pessoas reagem quando descobrem o que está acontecendo1,

…qual é a suposta justificativa para fazer você pensar que uma postagem removida ainda está ativa e visível?

…Então os moderadores excluem comentários, mas os mantêm visíveis para o escritor. Que sinistro.

…o que é chocante é que você não recebe nenhuma notificação e, para você, o comentário ainda parece ativo. O que significa que os moderadores podem definir qualquer narrativa que quiserem sem responder a ninguém.

…Uau. Eles podem remover seu comentário e ele ainda aparece do seu lado como se não tivesse sido removido?

…Uau. Estou aqui há 12 anos e sempre pensei que era um lugar legal onde as pessoas podiam compartilhar ideias abertamente. Acontece que é mais censurado do que a China. Sendo removido em 3, 2, 1…

Portanto, isso se volta contra você. Na mente dos usuários, você agora é o censor que diz: “os usuários não deveriam ver isso, apenas eu [o moderador] tenho a constituição para suportar isso.”

Censores, aliás, nunca se referem a si mesmos como censores, como apontei aqui1. Isso porque a palavra “censor” tem sido considerada algo ruim desde os tempos de Anthony Comstock. Por isso, é frequentemente reformulada através de termos como invisibilidade seletiva1, filtragem de visibilidade1, classificação1, visível para si mesmo1, redução1, rebaixamento1 ou disfarçar um mordaça1. Todas essas são frases que plataformas e defensores da moderação oculta usam para evitar dizer a palavra feia, “censura”. A lista é interminável porque o objetivo é mascarar, não revelar, o que eles estão fazendo.

Você diz que não quer uma discussão filosófica, mas ao lidar com alguém com quem você discorda, respeitando as liberdades individuais, pode ser útil pensar como um cientista em vez de um advogado ou soldado e ter curiosidade sobre a perspectiva dessa pessoa. Greg Lukianoff chama isso de “O projeto do conhecimento humano” [clipe de vídeo] [artigo].

Em resumo, os danos causados pela censura devem ser considerados. Uma visão míope dos danos causados por trolls sem qualquer consideração pelos danos da real censura de hoje não avança as conversas sobre moderação de conteúdo porque você está olhando apenas para uma parte do quadro. A moderação oculta permanece oculta para praticamente 100% do público.

Dado o fato de que tantos usuários são impedidos de ajudar a mediar discussões quando a moderação oculta está acontecendo, é razoável envolvê-los em assistência. Na medida em que nenhuma tentativa é feita para envolver a comunidade através de moderação transparente e contra-discurso, eu chamaria isso de autoritarismo online — uma mentalidade divina onde os moderadores fingem saber mais do que todos os outros. E, em última análise, isso causará mais problemas aos administradores do que vale a pena, como acho que você pode ver acontecendo com o tumulto periódico enfrentado pelo Twitter, Facebook e Reddit. Os usuários nesses espaços estão lá há tempo suficiente para começar a descobrir a manipulação, e eles querem algo melhor.

Minha abordagem para a situação seria adicionar uma nota à conta do usuário com Notas de Usuário do Discourse para dar a outros moderadores no site um aviso sobre o usuário e garantir que eles sejam rapidamente banidos por quaisquer novas infrações. Nunca me deparei com uma situação em que o usuário eventualmente não desaparecesse.

Essa também tem sido minha experiência, que a moderação transparente ajuda as pessoas a entenderem as regras e a decidirem se querem segui-las ou conversar em outro lugar. O estudo que citei sobre a carga de trabalho dos moderadores também corrobora isso.

Acho que deveríamos fazer a nossa parte para tentar tornar o mundo um lugar melhor. O tipo de problema que estou descrevendo aqui é lidar com usuários que parecem (do meu ponto de vista) estar lidando com problemas de saúde mental. Eu gostaria de saber como ajudá-los a serem melhores cidadãos tanto na internet quanto no mundo real.

Parece que você está vindo de um bom lugar, Simon! Acho que o indivíduo que “simplesmente não vai embora” depois de ser convidado a sair é muito raro, mas se isso acontecer, eu diria que eles merecem o mesmo respeito que damos a todos os outros em relação a um “direito a um julgamento” de certo tipo. Um julgamento completo não acontecerá para cada infração online, então o compromisso que proponho é que todos os usuários merecem saber quando foram moderados. Tirar isso é como tirar o judiciário. Em relação à saúde mental, até psiquiatras não fazem tais avaliações sem examinar pessoalmente o indivíduo, então acho que também não deveríamos fazê-lo. “Eles são loucos” inevitavelmente se tornará a desculpa para tirar o direito a um julgamento usando moderação oculta.

Se o conteúdo for ilegal, algo que “em contexto, causa diretamente danos graves iminentes específicos”\u003csup\u003e1\u003c/sup\u003e (uma definição de Nadine Strossen), então isso deve ser relatado às autoridades.

Finalmente, se você acha que a automutilação é um fator, você pode recomendar uma linha de apoio em crise. Teoricamente falando, é possível que a remoção oculta de comentários de usuários que defendem a violência contra si mesmos ou contra outros os torne mais propensos a agir de acordo com suas crenças equivocadas.

Considere um grupo que você considera odioso. Eles ainda podem remover apelos à violência real. Mas se os moderadores fizerem isso secretamente, o indivíduo violento não recebe nenhum sinal de que suas opiniões não estavam de acordo com a comunidade. Quem pode dizer se isso os torna mais ou menos propensos a agir? Eles podem perceber a falta de uma contra-resposta como aprovação tácita.

Meu argumento é o mesmo do Juiz Brandeis, que a luz do sol é o melhor desinfetante\u003csup\u003e1\u003c/sup\u003e e que uma solução requer o envolvimento da comunidade. Em vez de remover comentários secretamente, mesmo os odiosos, você pode dar a eles um sinal sobre as remoções. Esse sinal se torna uma chance para eles se beneficiarem de alguma outra interação, seja de sua comunidade, de outra comunidade ou das autoridades. Ao fazer isso, você pode dar às margens da sociedade uma chance de se sentirem menos isoladas, tornando você e o mundo um lugar mais seguro.

Em geral, tento seguir o conselho de Jonathan Rauch. Ele diz,

“A pessoa com quem você está falando não é a pessoa com quem você está falando diretamente…”

Basicamente, você não precisa convencer todo mundo de que está certo. É o suficiente parecer razoável diante de alguém que está sendo dogmático ou até mesmo censor. Embora seja verdade que alguém pode se comportar legalmente de forma censora em uma conversa ao tentar te silenciar com palavras odiosas, eles também parecem idiotas, desde que você lhes dê a devida latitude. Qualquer percepção de que isso não funciona online pode muito bem ser devido ao uso generalizado de remoções ocultas. Quando você tenta engajar um grupo “odioso” em seu próprio espaço, você pode ser moderado secretamente sem o seu conhecimento!

Na mesma palestra, Rauch diz, “Os odiadores, no final, se enterram se você os deixar falar.” E ele saberia o que funciona. Como um homem gay que cresceu nos anos 60, descrito aqui\u003csup\u003e1\u003c/sup\u003e, Rauch aparentemente está ativo no movimento pelos direitos gays há décadas com, argumentavelmente, um bom sucesso. Portanto, vale a pena ouvi-lo sobre o assunto da liberdade de expressão, independentemente dos seus sentimentos sobre homossexualidade ou casamento gay. Da Inquisição Espanhola, a Anthony Comstock, ao Comunismo e ao Macartismo, ao PMRC de Tipper Gore, a atual era das mídias sociais não é a primeira vez que a liberdade de expressão foi desafiada, e não será a última.

Descobri que a mentalidade de Rauch tem sido extremamente eficaz em moderar meu próprio engajamento e permitir que outros expressem suas opiniões enquanto ainda transmito meu ponto de vista. Continuamente descubro novas maneiras de aceitar que (a) só posso mudar a mim mesmo e (b) que isso é suficiente para ter um impacto positivo no mundo.

Possivelmente existem duas questões separadas aqui. A primeira questão é sobre moderadores fazendo o seu melhor para lidar com comportamentos problemáticos. O banimento oculto de usuários desagradáveis foi sugerido como uma abordagem para isso aqui: Discourse Shadowban. Posso entender a motivação, mas não acho que isso ganhe muita força como técnica de moderação - se um usuário é tão persistente, é apenas um adiamento de um conflito inevitável.

A segunda questão é o que está acontecendo em outras plataformas onde o alcance das postagens de alguns usuários é limitado, sem dar a esses usuários qualquer indicação sobre o que está acontecendo. O notável é que esses usuários não violaram os Termos de Serviço da plataforma. Seria tecnicamente possível criar um plugin Discourse que implementasse algo assim, mas a menos que o site fosse extremamente ativo, acho que seria rapidamente descoberto. Na verdade, acho que o Discourse e outras plataformas comunitárias descentralizadas são o antídoto para essa questão. Como um exemplo extremo, se alguém quer criar uma comunidade onde dizer “a Terra gira em torno do Sol” é considerado desinformação perigosa, eles são livres para fazer isso. Pessoas com uma visão de mundo heliocêntrica podem simplesmente encontrar uma comunidade diferente para participar.

Uma questão adicional seria se fosse impossível encontrar hospedagem ou um processador de pagamento para uma comunidade que estivesse indo contra a narrativa dominante em uma questão particular. Exceto por tentar promover os valores da curiosidade intelectual e da diversidade, não tenho grandes sugestões sobre como lidar com isso.

Talvez, mas também, criar soluções para problemas reais é uma boa estratégia de negócios. Como ajudar as pessoas com seu comportamento tipo troll, em vez de apenas bani-las, parece um problema não resolvido. Posso imaginar o Discourse fornecendo algumas ferramentas para ajudar as comunidades com isso. Também poderia ser terceirizado para um serviço externo que fosse composto por terapeutas treinados.

Simon, agradeço por dedicar seu tempo para responder. Vejo que você não foi convencido pelo meu argumento de que os trolls às vezes podem ser deixados em paz (ou seja, por meio de moderação transparente em oposição à moderação oculta), nem parece convencido de que a moderação oculta pode tentar o Discourse com o aumento do uso. Talvez seja verdade, talvez não. Acho que o tempo dirá, mas não necessariamente em breve. Discordo veementemente que a moderação oculta seja “rapidamente descoberta”. Concordo que promover a curiosidade intelectual e a diversidade não deve ser subestimado, e que uma boa estratégia de negócios desempenha um papel fundamental.

Vinculando a posição oficial do Discourse aqui

Talvez eu tenha sido muito cauteloso ao expressar meus pensamentos aqui:

Acho que o banimento oculto é uma ideia terrível. Dito isso, tenho muitas preocupações sobre o futuro da internet, mas no que diz respeito ao Discourse, não me preocupo que o banimento oculto ou a manipulação sub-reptícia do conteúdo de um site seja algo que pegue. Primeiro, como observado acima, a funcionalidade não existe no código principal do Discourse e a equipe não tem planos de desenvolver plugins para isso. Em segundo lugar, não consigo ver um caso de uso válido para adicionar esse tipo de funcionalidade a um site Discourse - não consigo imaginar um caso em que implementá-lo beneficiaria os proprietários de um site.

Se houver mais uma coisa que eu pudesse promover, seria o valor da discórdia. Promover a discórdia, em oposição ao acordo, é a maneira mais rápida de reunir todos os pontos de vista disponíveis de um grupo de pessoas.

Sei que existem situações em que um plugin/recurso de shadowban é necessário.

Temos um programa pago e 99% dos nossos alunos adoram. Então, temos algumas maçãs podres que entram nos fóruns e “contaminam” os outros com negatividade. Agora, essas pessoas pagaram por algo, então a maçã podre está espalhando FUD (Fear, Uncertainty, Doubt - Medo, Incerteza, Dúvida) e novas pessoas entram e veem o FUD, então pedem reembolso.

A maçã podre também pagou, então não queremos que ela também peça reembolso, porque geralmente são esses tipos de pessoas que consomem a maior parte do nosso tempo.

Minha equipe gasta horas e horas lidando com as maçãs podres e impedindo-as de contaminar as maçãs boas.

Então, sim… nós apenas queremos fazer um shadowban nas maçãs podres para que a equipe de suporte possa responder às suas postagens e respostas, e elas pensem que estão “dentro” e a vida seja alegre e feliz para nossa equipe de suporte, e nossos usuários incríveis não sejam contaminados.

Antes que você diga “Apenas reembolse as maçãs podres”… não, essa não é a resposta.

Precisamos de um recurso de shadowban para Tópicos e respostas e por usuário, se fizermos um shadowban permanente.

Existe um caso de uso legítimo para este recurso.

Por curiosidade, por que remover os membros indesejáveis da sua comunidade não seria a resposta nesta situação?

Não seria também um problema maior se/quando eles descobrissem que estavam pagando por algo que não estavam recebendo totalmente? (ou seja, participação na sua comunidade)

Eles reembolsariam. Eles recebem muito mais do que apenas a comunidade. Os fóruns são apenas uma pequena parte. Software, ferramentas, educação. O que eles não podem fazer é assustar os outros na comunidade e fazer com que outros duvidem ou queiram o reembolso. Depois de fazer isso por 20 anos, sabemos que há uma certa porcentagem de pessoas que serão negativas sobre tudo na vida, então precisamos proteger nossos clientes pagantes que estão agindo.

Se fosse apenas um fórum pelo qual eles estivessem pagando, seria diferente… mas este é um produto de 2 mil dólares, então temos que proteger nossos membros pagantes dos pessimistas.