Sim, isso parece alto. Defina seus workers do unicorn entre 1 e 2 por núcleo.
Para 6 núcleos, não deve ser mais do que 12. Dado o seu buffer compartilhado bastante grande e meu instinto, eu o definiria para cerca de 10 com tais especificações de servidor.