Ahh. O cliente para quem estou trabalhando na verdade roda o Discourse na AWS com um ELB. Estou suspeitando que isso possa ser a causa desse problema.
Sei que não é uma configuração suportada aqui, mas qualquer insight sobre como as configurações estão sendo armazenadas em cache entre processos seria ótimo. Se alguém tiver alguma ideia de como corrigir, melhor ainda!