Ok… acho que consegui reproduzir localmente, é um bug multi-processo. Basicamente, a versão na memória das configurações é alterada pelo administrador no processo A, mas então um usuário atinge o processo B com uma solicitação e acaba sendo o responsável por definir o novo valor do cache, e o cache acaba com o valor antigo na memória.
Outras configurações do site contornam isso atualizando todas as configurações via MessageBus sempre que alguém altera:
Tentarei ter uma correção para isso amanhã (já é o fim do meu expediente), obrigado pela sua paciência aqui, Moin!