Dê uma olhada em discourse_docker/templates/web.template.yml at main · discourse/discourse_docker · GitHub para alguns exemplos de modificação da configuração do nginx.
O que eu costumo fazer é modificar os arquivos de configuração manualmente dentro do contêiner para testar antes de fazer alterações no yml, pois leva muito tempo para reconstruir para ver se suas alterações funcionaram.