Sim, de fato, estávamos. O plugin docker_manager estava carregando dois arquivos JS em um template usando javascript_include_tag, que não reconhece DISCOURSE_S3_CDN_URL, então estava usando o padrão DISCOURSE_CDN_URL e causando problemas no CSP.
Deveria estar corrigido agora via FIX: blank upgrade page when using S3 CDN and CSP · discourse/docker_manager@3d37fd6 · GitHub
@paulrudy, se você atualizar o plugin docker_manager, não deverá mais precisar adicionar manualmente https://cdn-to-discourse.b-cdn.net/assets/ ao seu CSP.