As permissões são efetivamente cumulativas, não existe tal coisa como um conflito nesse sentido. A permissão herdada mais alta sempre vence. Posso ser adicionado a um grupo que me permite ver uma categoria e também a outro que me permite contribuir.
Por que você precisaria excluir um grupo, a menos que também tenha concedido acesso explicitamente por meio de outra associação?