明らかに仮想メモリ不足のようです。スワップを追加すれば解決するはずです。
しかし、以下も参照してください。
私は自分で管理された実験を行う時間を確保できませんでしたが、オーバーコミットを設定すればスワップの必要性が少なくなるだろうと強く信じています。