Crearía una plantilla que incluyeras en el contenedor de Docker que crea el lanzador.
Por ejemplo, de forma similar a esta plantilla de limitación de velocidad que realiza cambios en la configuración de Nginx: discourse_docker/templates/web.ratelimited.template.yml at main · discourse/discourse_docker · GitHub
Incluirías tu propia plantilla en la lista templates: de la configuración YAML de tu contenedor.
La próxima vez que lo reconstruyas, se incluirán tus cambios en la configuración de Nginx.