В зависимости от того, что именно вы хотите изменить в конфигурации nginx, самый простой способ — использовать внешний nginx в качестве обратного прокси для контейнера Discourse и вносить изменения там.
В качестве альтернативы, если вы хотите внести изменения непосредственно во внутренний сервер nginx, вам, возможно, потребуется создать хук в вашем YAML-файле. Конкретный подход будет зависеть от ваших целей, но эта тема может дать вам подсказку: Setup Multisite Configuration with Let's Encrypt and no Reverse Proxy