Certamente parece uma falta de memória virtual, o que significa que adicionar swap deve resolver.
Mas veja também
Eu nunca me dei tempo para fazer os experimentos controlados, mas acredito muito que, uma vez que você configure o overcommit, precisará de menos swap.