はい、その通りです。docker_manager プラグインは、javascript_include_tag を使用してテンプレート内で 2 つの JS ファイルをロードしていましたが、これは DISCOURSE_S3_CDN_URL を認識しないため、デフォルトで DISCOURSE_CDN_URL を使用し、CSP に問題を引き起こしていました。
FIX: blank upgrade page when using S3 CDN and CSP · discourse/docker_manager@3d37fd6 · GitHub を通じて、現在は修正されています。
@paulrudy さん、docker_manager プラグインを更新すれば、CSP に https://cdn-to-discourse.b-cdn.net/assets/ を手動で追加する必要はなくなります。