La soluzione ottimale qui sarebbe aggiornare lo script di migrazione in modo che i reindirizzamenti dei permalink vengano creati automaticamente.
Non configurare nginx direttamente, tali modifiche verranno distrutte ogni volta che il container viene ricreato per un aggiornamento.
Invece, come dice @pfaffman, modifica app.yml per modificare la configurazione di nginx.