Los permisos son efectivamente acumulativos, no existe tal cosa como un conflicto en ese sentido. El permiso heredado más alto siempre gana. Puedo ser agregado a un grupo que me permite ver una categoría, y también a otro que me permite contribuir.
¿Por qué necesitarías excluir un grupo a menos que también le hayas dado acceso explícitamente a través de otra membresía?