Há algum motivo para você não estar usando uma instalação multissítio com dois contêineres? Não creio que você perca muita portabilidade aqui; a maneira mais rápida de mover instâncias entre servidores é migrando um backup.
Caso precise mover uma instância, basta levantar um novo servidor, marcar a instância antiga como somente leitura, atualizar o DNS e restaurar o backup. Com um serviço de DNS de TTL baixo, como o Cloudflare, um site pequeno pode ser migrado em minutos. Os usuários experimentariam um breve período de acesso somente leitura, sem perda de conteúdo.
É muito mais eficiente dividir os recursos dessa forma; você não acabará executando dois servidores de banco de dados e dois servidores web em contêineres separados, o que elimina completamente a necessidade de um proxy reverso nginx.