Quando você remove alguém de um grupo que concede um nível de confiança, ele recalcula o nível de confiança dessa pessoa e o define para o que seria sem o aumento do grupo. 
Os níveis de confiança são ajustados tanto na adição quanto na remoção do grupo.
Mas, infelizmente, isso significa que, pelo menos atualmente, qualquer pessoa adicionada antes que o benefício extra de nível de confiança fosse definido não o receberá automaticamente.