Na verdade, isso não acontece há muito tempo. Costumava ser que o flair estava diretamente ligado ao grupo primário, mas hoje em dia a opção de flair em suas preferências pode ser usada para selecionar qualquer flair que um dos grupos em que você está tenha, mesmo que a capacidade de selecionar seu grupo primário esteja desativada para usuários normais.
Minhas preferências para minha conta de teste padrão na instância NaNoWriMo, que tem a capacidade de selecionar seu grupo primário desativada para usuários regulares.
(E caso alguém esteja curioso sobre isso, tenho várias contas de teste lá com diferentes níveis de confiança e acesso que são mantidas em um grupo personalizado cujo nome faz referência à minha conta de moderador)