Sin duda, haz una copia de seguridad, e incluso si todo parece estar bien, si tienes alguna característica de VPS para ello, quizás una instantánea del host 
, ya que seguramente habrá alguna actualización de base de datos que realizar. Podría ser más fácil que restaurar desde una copia de seguridad si algo sale mal (por cierto, el proceso de restauración es interesante para practicar). ¿Haces una copia de app.yml y anotas en algún lugar el SHA del commit en el que te encuentras como precaución adicional?
De la versión 2.4 a la 2.7, hay algunas actualizaciones de PostgreSQL si no estoy equivocado. Quizás puedas revisar algunas de estas Search results for 'postgresql update' - Discourse Meta como calentamiento 
Sí, el contenedor se detiene durante la reconstrucción.
No, al menos no de forma predeterminada.