Если вы добавите swap, вы избежите OOM. Вам не нужны OOM, и вам не нужно много активности подкачки, иначе скачок использования памяти может быть важен, а может и нет. (Это может быть интересно, но это уже другая тема.)
Я рекомендую выполнить
vmstat 5 5
или аналогичную команду, чтобы увидеть, как выглядит активность подкачки.
Также
free -h
более полезна, чем
free -mh,
так как важно знать, сколько swap-памяти у вас осталось.