Acho que o Nível de Confiança é recalculado automaticamente assim que removido de um grupo que concede um nível mais alto do que teriam alcançado normalmente.
No entanto, você pode usar os grupos que criou para esses usuários dentro das próprias permissões da categoria, se isso for mais adequado?