Sempre é aconselhável ter swap. É uma ótima ideia permitir que o kernel faça overcommit. Isso pode reduzir substancialmente suas necessidades de pico de memória.
Resolva essas duas coisas e tente novamente. Para overcommit, consulte
Em termos de diagnóstico, pode ser útil verificar o dmesg para eventos de OOM (Out of Memory), o que você pode fazer depois, e também executar o vmstat no momento da travagem.