Com certeza um backup, e mesmo que tudo pareça estar bem, se você tiver algum recurso de VPS para isso, talvez uma snapshot do host 
, pois com certeza haverá alguma atualização de banco de dados a ser feita. Pode ser mais fácil do que restaurar a partir de um backup caso algo dê errado (o processo de restauração, aliás, é interessante para praticar). Faça uma cópia do app.yml e anote em algum lugar o SHA do commit em que você está como precaução extra?
De 2.4 para 2.7, há algumas atualizações do PostgreSQL, se não me engano. Talvez dê uma olhada em algumas dessas discussões Search results for 'postgresql update' - Discourse Meta como aquecimento 
Sim, o contêiner é interrompido durante a reconstrução.
Não, pelo menos não nativamente.