Eu criaria um template que você incluiria no contêiner Docker criado pelo launcher.
Por exemplo, como este template de limitação de taxa que faz alterações na configuração do Nginx: discourse_docker/templates/web.ratelimited.template.yml at main · discourse/discourse_docker · GitHub
Você incluiria seu próprio template na lista templates: da configuração YAML do seu contêiner.
Na próxima vez que você o reconstruir, suas alterações na configuração do Nginx serão incluídas.