A configuração do S3 está no app.yml. Não nas configurações do site.
Edição:
Percebo que não estou sendo muito explicativo e não tenho a intenção de esconder detalhes.
Usamos o S3 da OVH e ele está configurado no app.yml.
Fiz um backup do nosso fórum de testes sem os uploads, mas o S3 ainda estava ativado naquele momento.
Depois, restaurei no novo site com o mesmo app.yml, e foi aí que o problema começou. Para deixar claro, já está resolvido agora, mas não tenho certeza se foi por eu ter refeito o processo várias vezes ou se foi devido ao cache agressivo do Discourse. É por isso que preciso saber como fazer isso corretamente e acertar de primeira. Meu receio é que, se um dia precisarmos restaurar um backup na nossa instância de produção e enfrentarmos isso, eu precise saber exatamente como resolver isso o mais rápido possível, antes que os usuários percebam.