Да, это кажется высоким. Установите количество воркеров unicorn от 1 до 2 на ядро.
Для 6 ядер оно не должно превышать 12. Учитывая довольно большой общий буфер и мое интуитивное ощущение, я бы установил значение около 10 при таких характеристиках сервера.