¿Hay alguna razón por la que no estás utilizando una instalación multisitio con dos contenedores? No creo que pierdas mucha portabilidad aquí; la forma más rápida de mover instancias entre servidores es mediante la migración de una copia de seguridad.
En caso de que necesites mover una instancia, simplemente levantarías un nuevo servidor, marcarías la instancia antigua como de solo lectura, redirigirías el DNS y restaurarías la copia de seguridad. Con un servicio de DNS de baja TTL como Cloudflare, un sitio pequeño puede migrarse en minutos. Los usuarios experimentarían un breve periodo de acceso de solo lectura, pero no se perdería ningún contenido.
Es mucho más eficiente dividir los recursos de esta manera; no terminarás ejecutando dos servidores de bases de datos y dos servidores web en contenedores separados, y se elimina por completo la necesidad de un proxy inverso nginx.