Fiquei um pouco desviado após minhas férias, mas espero revisar a pontuação em breve e ver se consigo resolver algumas das críticas.
6 curtidas
Então, finalmente consegui tempo para atualizar hoje, e esta é uma de nossas postagens ocultas. Você pode explicar por que ela estava oculta?
Aqui está outro exemplo, onde um usuário com nível de confiança baixo pode ocultar uma postagem com apenas uma bandeira em um sistema com sensibilidade de ocultação de post configurada como ‘baixa’. Como posso ajustar o sistema para exigir mais bandeiras antes de ocultar conteúdo?
Testei configurando a sensibilidade de ocultação de post como ‘alta’, e parece que isso torna mais provável que as postagens sejam ocultadas. Você pode adicionar configurações que exijam uma pontuação de pelo menos 10 ou até 15 para ocultar uma postagem?
Acredito que o @eviltrout esteja analisando isso esta semana, obrigado pelos exemplos.
1 curtida
Você pode tentar definir a sensibilidade para baixo e ver qual é o valor? Qual era a sensibilidade definida?
Obrigado pelo seu feedback, é realmente útil.
Eu honestamente não consigo entender por que o primeiro exemplo que você postou aconteceu. É possível que você tenha alterado a sensibilidade depois de ocultar a postagem? Não parece haver outra maneira de um usuário TL0 ocultar algo com uma pontuação inferior ao limite.
Talvez eu precise, na verdade, armazenar a pontuação no momento em que foi ocultada para futuras depurações.
Agora, sobre sua segunda pergunta referente aos limites estarem incorretos. Concordo que, se a sensibilidade mais baixa para você é 4,8 e um usuário TL0 pode obter uma pontuação de 6, algo parece errado aqui.
Minha primeira pergunta, com base na primeira captura de tela, é: como um usuário TL0 obteve uma pontuação de 5 de precisão? Você está bloqueando usuários no nível TL0? Porque eles precisariam de pelo menos 5 denúncias para que sua precisão entrasse em vigor. Parece incomum para mim que um usuário TL0 permaneça nesse nível de confiança enquanto realiza denúncias tão precisas. Isso implicaria que 100% das denúncias deles foram concordadas.
Você pode me dizer quantas das denúncias deles foram concordadas/discordadas/total? Você pode ver isso passando o mouse sobre o ícone de polegar para cima no item revisável.
2 curtidas
Posso verificar. Trocamos recentemente do padrão para baixo, mas acho que este post era novo. Estava pensando que talvez a precisão tenha sido reduzida depois que o post foi ocultado para o usuário, caso você não salve as estatísticas do momento em que foi ocultado.
Todos os nossos usuários estão no nível TL0 ou TL1; estamos usando o Discourse de forma um pouco diferente do caso de uso mais comum.
Então, é possível que ele tenha sinalizado 5 posts sem mudar o nível de confiança. Ainda não investiguei profundamente como os níveis de confiança funcionam. Também tínhamos as configurações padrão em relação à sensibilidade, então ocultar posts por meio de sinalização parece ser bastante fácil.
Posso verificar mais tarde; não tenho acesso aos dados a partir do local onde estou.
Gostaria de receber um retorno assim que tiver oportunidade de revisar os dados.
Parte de mim também acha que, se um usuário estiver correto em 100% das denúncias que realizou no passado, especialmente quando são mais de 5, o post deveria ser ocultado. Esse usuário sabe o que está fazendo!
3 curtidas
Infelizmente, recebemos muitos comentários de usuários dizendo que o sistema está quebrado, mas aparentemente isso não é verdade. O usuário só precisa se aproveitar de algumas outras flags e, em seguida, ele terá poderes divinos.
2 curtidas
Eu tendo a concordar que uma única flag, sozinha, não importa o quão confiável seja ou quem seja o usuário, não deve ser suficiente para ocultar um post que não seja spam.
5 curtidas
O usuário que tem 5,0 de precisão no tl0 possui 100 bandeiras precisas, então consigo entender por que ele recebe uma pontuação alta. No entanto, esse usuário não deseja ocultar bandeiras com apenas uma postagem; ele quer notificar que acha algo inadequado e ver se os outros usuários concordam. Pelo menos isso é verdade para os usuários que nos contatam e reclamam. Também consigo encontrar outros usuários com taxa de concordância de 100% e apenas 5 bandeiras; eles têm o mesmo poder, e então presumo que o número de bandeiras aprovadas aumentará rapidamente.
Também vejo um usuário com 84% de concordância em 37 bandeiras; ele obtém uma precisão de 4,2, o que é suficiente para ocultar conteúdo com uma única bandeira no tl0 e com baixa sensibilidade.
Se ele ocultar conteúdo com a primeira bandeira, não poderá sinalizar conteúdo levemente inadequado, mas precisará aprender a esperar até que alguém vá muito além do limite.
Nossos usuários estão acostumados com a regra de “três strikes e você está fora”, então, por favor, considere tornar isso uma opção novamente, pelo menos enquanto estiver ajustando o sistema. Estamos considerando fazer o downgrade para uma versão antiga do código-fonte se isso não for possível, mas estamos um pouco preocupados com a consistência dos dados dos backups ao fazer o downgrade.
4 curtidas
Por favor, dê-nos um pouco mais de tempo para fazer os ajustes.
Definitivamente vejo o problema aqui de um único usuário poder ocultar coisas, o que não é desejável, e o aproveitamento de outras flags. Tenho algumas ideias e terei algo para testar em breve.
8 curtidas
Parece bom. Se quiser feedback direto, fique à vontade para detalhar suas ideias.
Se eu conseguir chegar a um estado em que 3 a 5 bandeiras ocultem uma postagem inadequada, ficarei feliz, e usuários experientes terão mais voz do que usuários novos.
3 curtidas
Eu apoio fortemente isso. Eu pretendia responder muito antes e cobrar mais informações sobre as configurações específicas do fórum onde eu modero, mas, infelizmente, algumas questões pessoais muito sérias atrapalharam.
Também seria ótimo se essas informações fossem visíveis para os moderadores, pois serão eles quem, na maioria dos casos, interagirão com os membros e com as bandeiras na maioria dos fóruns.
Dizer que “três bandeiras escondem uma publicação” é algo que todos podem entender sem problemas, sabendo que podem deixar uma bandeira para dizer “ei, não tenho certeza sobre isso”, o que a colocaria no topo da lista para o próximo membro da equipe fazer login. E se mais dois membros também sentissem o mesmo, a publicação seria escondida, mas a ação de ninguém sozinha causaria algo drástico.
Algo igualmente fácil de explicar aos membros, para aquele aspecto tão desejável de moderação por membros, único do Discourse, seria muito bom, se possível, por favor.
Enquanto isso, um membro confiável do TL3 cujas bandeiras ignorei intencionalmente para reduzir seu peso para 51% ainda conseguiu esconder publicações com uma única bandeira, e esse problema continuou a causar problemas periódicos em tópicos onde as paixões já estavam altas (daí as bandeiras), quando as pessoas viam suas respostas sendo imediatamente escondidas, o que aumentou significativamente a carga de trabalho de moderação.
Tornar essas informações visíveis para os moderadores, e não editáveis por eles, como eu disse, são as principais pessoas envolvidas com as bandeiras no dia a dia, me daria uma resposta útil, já que no momento não consigo fornecer uma; eu solicitei capturas de tela das nossas configurações ao meu administrador, mas ele tem estado ocupado, e eu também, então seu post está descrevendo algo que, infelizmente, nem consigo ver. 
Não acredito que tenhamos nenhuma configuração personalizada, no entanto.
Adicionar purgatórios de bandeiras para usuários cujas bandeiras não são concordadas em uma taxa alta significará que teremos que começar a concordar com bandeiras que foram apenas para alertar os moderadores para verificar algo, e isso corre o risco de criar uma nova armadilha. Especialmente se for visível apenas para administradores (desculpe por ficar insistindo nisso).
Portanto, se esse tipo de coisa for criado, considere dar aos moderadores uma maneira manual de ver quem está no purgatório das bandeiras e de aumentar (ou diminuir) manualmente o peso de alguém? Os moderadores já podem alterar e bloquear Níveis de Confiança, e isso é muito semelhante.
4 curtidas
Só queria dizer que concordo fortemente com isso. 
O jeito como @Ubik colocou faz todo o sentido para mim: embora o novo sistema seja mais inteligente e possa tomar decisões corretas a longo prazo, é muito mais difícil explicar isso aos membros. Muitos membros da minha comunidade não entendem as novas mudanças, o que, por sua vez, causa muita confusão. Essa confusão gerou animosidade entre alguns membros. A teoria da conspiração predominante é que há um grupo de membros insatisfeitos marcando novas postagens para escondê-las, quando na realidade foi apenas uma única marcação que ocultou automaticamente a postagem.
Como @Pekkanen disse, se pudéssemos chegar a um ponto em que 3 a 5 marcações escondam uma postagem, seria ideal!
3 curtidas
A maior parte desta discussão, naturalmente, tem sido sobre estatísticas e configurações.
No entanto, há algo que preciso abordar porque é muito importante: as bandeiras (flags) nem sempre são uma questão binária de “concordar com a bandeira porque o post precisa ser removido” versus “este usuário fez uma bandeira errada e precisa ser rebaixado”, sem meio-termo. Abaixo, darei exemplos:
Pela minha própria experiência, os usuários que mais levantam bandeiras frequentemente apontam pequenos detalhes antes que se tornem problemas, ou solicitam uma verificação sobre alguém porque identificaram o uso de palavras semelhante ao de um infrator previamente banido, ou talvez apenas queiram que os moderadores analisem um tópico para ver se há necessidade de alguma orientação.
Os membros cujas bandeiras são mais úteis devido a essa sensibilidade nem sempre terão todas as suas bandeiras aceitas (e, conforme entendo, aceitar uma bandeira tem efeito no progresso do usuário marcado em direção ao Nível de Confiança 3, portanto, aceitar não é uma ação padrão apropriada).
O fórum que moderar venho engajando ativamente nossos membros do Nível de Confiança 3 no processo de moderação desde que migramos para o Discourse. Temos conversas regulares por mensagens privadas e por meio de tópicos na Sala de Estar sobre questões relacionadas à moderação e à aplicação das regras, etc. Os frequentadores sabem que podem fazer perguntas, questionar os motivos exatos de qualquer decisão e dar feedback e sugestões. Isso tem sido extremamente bem-sucedido e muito bem recebido.
Ter bandeiras levantadas pela menor suspeita de um problema reduziu significativamente a carga de trabalho de moderação, ao detectar as coisas precocemente. Como resultado, o fórum certamente tem mais de uma dúzia de pessoas com poderes semelhantes aos de moderadores leves, e a confiança para usá-los, online 24 horas por dia, 7 dias por semana, 365 dias por ano. Isso manteve nosso fórum estável e coeso, mesmo com a rápida expansão de nossa base de membros desde a migração para o Discourse.
Também é altamente eficaz: frequentadores envolvidos porque têm confiança ao usar bandeiras significam que vimos trolls e spammers em potencial serem contidos em poucos minutos. E, ao verem o efeito positivo de poderem atuar como guardiões do fórum, os frequentadores também passaram a ajudar muito mais os usuários novos, mostrando-lhes como as coisas funcionam, o que teve um efeito positivo em toda a cultura do fórum.
Os frequentadores do Nível de Confiança 3 também sabem que podem aceitar ou recusar isso; não é um dever que devam cumprir, mas têm ferramentas à disposição no momento em que identificam um problema.
É quase o sistema perfeito, e tudo depende de as bandeiras serem 1. compreensíveis e fáceis de explicar, como costumavam ser, e 2. os membros, incluindo os dos Níveis de Confiança 1 e 2, serem incentivados a sentir confiança de que nada acontece como resultado de uma única bandeira. Portanto, não se preocupem com erros; aja sempre que ver algo que lhe cause preocupação.
Moderadores experientes têm falsos positivos com bastante frequência (assim como a TSA, médicos e qualquer pessoa cuja função seja procurar problemas): suspeitamos de alguém, mas depois isso se revela incorreto. E os membros podem esperar ter mais falsos positivos, não apenas devido à inexperiência, mas também porque não podem verificar endereços IP ou ver os Posts Excluídos anteriores de alguém. Por isso, incentivar as pessoas a usarem bandeiras com confiança exige a garantia de que nada de ruim acontecerá a ninguém como resultado de uma única bandeira.
E, finalmente, tornar as bandeiras mais uma questão de “tudo ou nada”, com um dos dois usuários envolvidos arriscando uma perda (X% mais perto do purgatório das bandeiras / um quinto de uma advertência contra o Nível de Confiança 3 por um ano), apresenta aos moderadores outro nível de informação a considerar e um conjunto adicional de decisões a tomar quando uma bandeira é levantada:
- O que preciso fazer em relação ao post marcado e/ou à pessoa que o fez, o que já faz parte do trabalho, mas agora também
- Devo aceitar essa bandeira contra alguém que não violou nenhuma regra, ou reduzir o peso da pessoa que fez a bandeira de boa fé?
Desembaraçar alguns tópicos ou disputas controversas já pode ser bastante demorado e complexo, sem essa consideração adicional!
Considere também que muitos usuários de fóruns não têm o inglês como primeira língua e podem estar lendo posts de outros usuários na outra ponta do mundo para quem o inglês também não é a língua principal. Isso adiciona outra razão para que bandeiras sejam levantadas, com intenção sincera, contra um usuário que nada fez de errado.
Com essas complexidades em mente, se o seguinte não for possível (ou desejável):
… por favor, mantenha a opção Ignorar, para que nem o usuário marcado, nem o usuário que levantou a bandeira, vejam qualquer mudança no peso ou no progresso em direção a um Nível de Confiança mais alto. “Ignorar” talvez pudesse ser chamado de “Nenhuma Ação”, não acha?
6 curtidas
Isso também acontece no BBS, onde a flag “algo mais” é frequentemente usada para “chamar a atenção dos moderadores”, o que pode ou não incluir a intenção de adicionar peso à flag na postagem.
Pergunto-me se a capacidade de usar o tipo de flag “algo mais” para enviar uma mensagem aos moderadores deveria ser desvinculada da sinalização de uma postagem, da mesma forma que a opção “Quero enviar uma mensagem privada a este usuário” é (mesmo popup, efeito diferente).
6 curtidas
Não acho que haja um problema que isso resolva, porque a questão é que as outras flags estão fazendo demais, não que “Algo Mais” precise fazer ainda menos. 
Criar níveis de alertas e depois comunicar isso a todos os membros (não apenas aos Regulars, e muitos dos quais estão usando tradução online ou têm inglês limitado) adiciona outra camada de trabalho demorado para os moderadores do Discourse, muitos dos quais, como eu, equilibram a moderação voluntária com vidas ocupadas, além de ser outra mudança para os usuários se adaptarem, sem nenhum benefício claro.
Por exemplo, eu teria que editar uma enorme quantidade de posts onde eu e outros explicamos como as flags funcionam ao longo de um longo período, posts que ainda podem ser encontrados por um novo usuário buscando ajuda, e mesmo depois de fazer tudo isso, permanece o risco de um usuário que não está ciente da mudança fazer algo errado, ficar envergonhado quando isso for explicado e, em seguida, ser desencorajado de interagir novamente com as flags.
(Tenho tentado me abster de dizer “se não está quebrado, não conserte” o dia todo, mas meio que tenho que dizer isso aqui.)
Além disso, nem sempre corro para clicar em uma nova notificação de MP se estiver fazendo outras coisas em abas diferentes (como trabalho remunerado não relacionado ao fórum ou respondendo em um tópico relevante para o assunto discutido), mas sempre atenderei imediatamente a um ícone de flag vermelha.
Meu cenário ideal real seria que o TL3 tivesse uma opção de flag adicional no menu, que ESTEJA configurada para ocultar um post com um único clique e que envie uma notificação MP para a Equipe (e e-mail consequente, se não estiver logado) dizendo algo como “Violação de regra: oculte este post aguardando revisão da Equipe” com um campo para adicionar qualquer outra informação, e então cada fórum pode decidir quais regras específicas (além de coisas óbvias como ameaças) eles querem que seus Regulars usem isso.
Isso daria a capacidade mais frequentemente necessária e útil do Discourse TL4, sem exigir treinamento cuidadoso dos usuários sobre o que podem/deveriam editar e quando e como usar as outras funções como mesclar tópico, dividir, fechar, etc.
E, vamos lá, enquanto estou nisso, para que os moderadores tenham a opção de receber um MP gerado por TODAS as flags, contendo o motivo (Inadequado, Fora do tópico, etc.) e o assunto do tópico/post flagado + um trecho de tamanho oneboxed.
Isso não se trata de ter o MP, obviamente, trata-se do e-mail que ele gera quando se está deslogado, o que auxilia na triagem e no gerenciamento de tempo. Posso explicar mais sobre como isso ajudaria se alguém quiser saber.
3 curtidas
Fiquei preso em várias outras tarefas, mas se tudo correr bem, farei algum progresso na questão de itens sendo ocultados com uma única flag no início da próxima semana.
5 curtidas
Então a ideia é: colusão secreta para marcar o mesmo post, mesmo que as bandeiras não sejam visíveis? Por trás das cenas, poderia haver um acordo implícito para marcar em sincronia? Tudo o que eles ganhariam com isso seria o sucesso em esconder o post rapidamente, embora essas bandeiras eventualmente seriam revertidas pela equipe, prejudicando o peso das bandeiras de todos que as usaram, então eles pagam um preço de longo prazo por esse comportamento em termos de peso reduzido das bandeiras?
Uma solução avançada seria detectar a colusão e aplicar uma penalidade adicional, mas isso é muito complexo.