Dependiendo de lo que quieras cambiar en la configuración de nginx, la forma más fácil sería usar un nginx externo como proxy inverso para el contenedor de discourse y hacer tus cambios allí.
Alternativamente, si quieres hacer cambios directamente en tu servidor nginx interno, puede que tengas que crear un hook en tu archivo yml. Variará según lo que quieras lograr, pero este tema te dará una pista Setup Multisite Configuration with Let's Encrypt and no Reverse Proxy