Obrigado Moin… isso é muito inesperado e, até onde sei, você é a única pessoa que encontrou isso até agora. Farei um site de teste para mim e farei alterações + implantarei para ver se consigo replicar o problema, talvez isso ajude a rastreá-lo.
Definitivamente parece um problema de cache, especialmente porque você diz que a própria interface do usuário está alternando, mas você pode ver no admin que a configuração ainda está ativada.