Система модерации Discourse включает систему весов, работающую именно так, как вы описываете. Вероятность скрытия отмеченного сообщения зависит от надёжности предыдущих отметок пользователя. Оценка определяется процентом случаев, когда отметки пользователя подтверждались сотрудником.
Я не уверен, что система весов для отметок документирована на Meta. Одна из моих целей на предстоящую неделю — попытаться составить такую документацию.
Редакция: просто добавлю примечание, что эта тема хорошо описывает, как рассчитывается вес отметок в зависимости от предыдущих действий пользователя: Managing user reputation and flag priorities.