Я бы создал шаблон, который вы включите в Docker-контейнер, создаваемый лаунчером.
Например, вот такой шаблон ограничения скорости, который вносит изменения в настройку nginx: discourse_docker/templates/web.ratelimited.template.yml at main · discourse/discourse_docker · GitHub
Вы включите свой собственный шаблон в список templates: конфигурации вашего контейнера в файле yml.
При следующей пересборке ваши изменения конфигурации nginx будут включены.