Ah, você viu um OOM, ótimo. Isso é definitivo. O ulimit não tem nada a ver com isso.
Adicione swap. Não há motivo para não fazer isso, exceto a falta de espaço em disco. Adicione 8 GB ou 16 GB e tente novamente. Você quer chegar a um estado funcional. Depois, se quiser, pode tentar medir qual processo está causando o problema.
Configure o overcommit. É uma boa prática, reduz problemas de pico de memória. Você não precisa entendê-lo ou justificá-lo, apenas faça. Faz parte de uma boa configuração do Linux. Verifique primeiro. É tão simples:
# uname -a
Linux ubuntu-4gb-hel1-1 6.8.0-110-generic #110-Ubuntu SMP PREEMPT_DYNAMIC
Thu Mar 19 17:16:23 UTC 2026 aarch64 aarch64 aarch64 GNU/Linux
# cat /proc/sys/vm/overcommit_memory
1