Echa un vistazo a discourse_docker/templates/web.template.yml at main · discourse/discourse_docker · GitHub para ver algunos ejemplos de cómo modificar la configuración de nginx.
Lo que suelo hacer es modificar los archivos de configuración manualmente dentro del contenedor para probarlos antes de realizar cambios en el archivo yml, ya que se tarda mucho en reconstruir para ver si los cambios funcionaron.