Всегда рекомендуется иметь файл подкачки (swap). Очень хорошая идея — разрешить ядру перерасход памяти (overcommit). Это может существенно снизить ваши пиковые потребности в памяти.
Сначала настройте эти два параметра, а затем попробуйте снова. По поводу перерасхода памяти см.:
Что касается диагностики, может быть полезно проверить dmesg на наличие событий OOM (нехватки памяти), что можно сделать после сбоя, а также запустить vmstat в момент зависания: