Flair do usuário permanece após remoção do usuário do grupo

User.where(flair_group_id: REPLACE_WITH_GROUP_ID).where.not(primary_group_id: REPLACE_WITH_GROUP_ID).update_all(flair_group_id: nil)

O comando acima pode resolver o seu problema. Execute-o no seu console do Rails. Faça um backup antes de executá-lo.