Да, действительно, нам её не хватало. Плагин docker_manager загружал два JS-файла в шаблоне с помощью javascript_include_tag, который не учитывает DISCOURSE_S3_CDN_URL, поэтому по умолчанию использовался DISCOURSE_CDN_URL, что вызывало проблемы с CSP.
Теперь это должно быть исправлено через FIX: blank upgrade page when using S3 CDN and CSP · discourse/docker_manager@3d37fd6 · GitHub
@paulrudy, если вы обновите плагин docker_manager, вам больше не нужно будет вручную добавлять https://cdn-to-discourse.b-cdn.net/assets/ в ваш CSP.