Se você adicionar swap, evitará os OOMs. Você não quer OOMs e também não quer muita atividade de paginação; caso contrário, o aumento no uso de memória pode ou não ser relevante. (Pode ser interessante, mas isso é outra questão.)
Recomendo executar
vmstat 5 5
ou algo similar para ver como está a atividade de paginação.
Além disso,
free -h
é mais útil que
free -mh
porque importa saber quanto swap ainda resta.