Резервную копию обязательно, и даже если всё должно быть в порядке, если у вас есть какая-то функция VPS для этого, возможно, снимок хоста 
, поскольку наверняка потребуется какое-то обновление базы данных, это может быть проще, чем восстановление из резервной копии, если что-то пойдет не так (кстати, процесс восстановления — интересная практика). Сделайте копию файла app.yml и запишите где-нибудь SHA коммита, на котором вы находитесь, в качестве дополнительной меры предосторожности?
С версии 2.4 до 2.7, если я не ошибаюсь, есть обновления PostgreSQL. Возможно, стоит ознакомиться с некоторыми из них: Search results for 'postgresql update' - Discourse Meta, в качестве разминки 
Да, контейнер останавливается во время пересборки.
Нет, по крайней мере, не из коробки.