Obrigado, pessoal, vou pesquisar no Google como fazer isso e depois farei 
.
Atualização 1
Adicionei 8 GiB de swap:
$ free -h
total used free shared buff/cache available
Mem: 3.8Gi 290Mi 2.9Gi 1.0Mi 677Mi 3.3Gi
Swap: 8.0Gi 0B 8.0Gi
Postarei uma atualização aqui após algumas próximas atualizações para ver se isso ajudou.
Atualização 2
Acabei de fazer um /admin/upgrade e monitorei o uso de RAM:
$ free -h
total used free shared buff/cache available
Mem: 3.8Gi 1.4Gi 1.5Gi 50Mi 891Mi 2.0Gi
Swap: 8.0Gi 200Mi 7.8Gi
E a atualização foi concluída com sucesso. 
Espero que continue assim.
Atualização 3
Vários dias e atualizações depois, nunca mais experimentei uma travada.
Então, acho que o swap foi a solução. Obrigado novamente a todos que me ajudaram com este problema.