Gracias, chicos, buscaré en Google cómo hacer esto y luego lo haré 
.
Actualización 1
Ahora he añadido 8 GiB de swap:
$ free -h
total used free shared buff/cache available
Mem: 3.8Gi 290Mi 2.9Gi 1.0Mi 677Mi 3.3Gi
Swap: 8.0Gi 0B 8.0Gi
Publicaré una actualización aquí después de algunas próximas actualizaciones para ver si esto ayudó.
Actualización 2
Acabo de hacer una /admin/upgrade y he monitorizado el uso de RAM:
$ free -h
total used free shared buff/cache available
Mem: 3.8Gi 1.4Gi 1.5Gi 50Mi 891Mi 2.0Gi
Swap: 8.0Gi 200Mi 7.8Gi
Y la actualización se completó con éxito. 
Espero que se mantenga así.
Actualización 3
Varios días y actualizaciones después, nunca volví a experimentar un cuelgue.
Así que creo que el swap fue la solución. Gracias de nuevo a cualquiera que me haya ayudado con este problema.