nginx の設定で変更したい内容に応じて、最も簡単な方法は、Discourse コンテナの外部 nginx をリバースプロキシとして使用し、そこで変更を行うことです。
または、内部 nginx サーバーに直接変更を加えたい場合は、yml ファイルにフックを作成する必要があるかもしれません。達成したいことによって異なりますが、このトピックがヒントになるでしょう: Setup Multisite Configuration with Let's Encrypt and no Reverse Proxy