O sistema de moderação do Discourse tem um sistema de ponderação que funciona da maneira que você está descrevendo. A probabilidade de uma postagem denunciada ser ocultada é baseada na confiabilidade das denúncias anteriores do denunciante. A pontuação é determinada pela porcentagem de vezes que as denúncias de um usuário foram concordadas por um membro da equipe.
Não acredito que o sistema de ponderação de denúncias esteja documentado no Meta. Um dos meus objetivos para a próxima semana é tentar documentá-lo.
Editar: apenas adicionando uma nota de que este tópico faz um bom trabalho documentando como as denúncias são ponderadas dependendo das denúncias anteriores de um usuário: Managing user reputation and flag priorities.