Sí, efectivamente, así era. El plugin docker_manager estaba cargando dos archivos JS en una plantilla usando javascript_include_tag, el cual no reconoce DISCOURSE_S3_CDN_URL, por lo que estaba usando por defecto DISCOURSE_CDN_URL y causando problemas con la CSP.
Ya debería estar solucionado a través de FIX: blank upgrade page when using S3 CDN and CSP · discourse/docker_manager@3d37fd6 · GitHub
@paulrudy, si actualizas el plugin docker_manager, ya no deberás agregar manualmente https://cdn-to-discourse.b-cdn.net/assets/ a tu CSP.