Si añades memoria de intercambio (swap), evitarás los errores OOM. No quieres OOMs, ni tampoco demasiada actividad de paginación; de lo contrario, el aumento en el uso de memoria podría ser importante o no. (Podría ser interesante, pero eso es otro tema.)
Recomiendo ejecutar
vmstat 5 5
o algo similar para ver cómo se comporta la actividad de paginación.
Además,
free -h
es más útil que
free -mh
porque sí importa cuánto espacio de swap te queda.