アップグレード後サイト動かない

できます。それは2コンテナインストールの利点をある程度取り除きます(web_onlyに言及しているので2コンテナだと仮定します)。

私の手順はこちらです:Managing a two-container instance - Howto - Literate Computing Dashboard

また、PostgreSQL 15 update のような、データコンテナのアップグレードも必要とするようなことに注意を払う必要があります。