Isso depende de muitos fatores. Como o tamanho do seu banco de dados em comparação com a sua RAM, a proporção de tráfego logado para anônimo, se você tem plugins que mantêm sua fila Sidekiq mais ocupada, se você está executando YJIT, etc.
O que é simples é olhar os dados do MiniProfiler durante sua hora de pico e navegar pelo fórum para ver se o desempenho é pior e identificar o gargalo.
Como esta CPU é antiga, eu começaria com mais do que o número usual de workers do Unicorn, pois cada solicitação levará mais tempo do que o normal. Mas se você estiver executando PostgreSQL e Redis no mesmo servidor, não pode sacrificá-los executando muitos workers.
Tente executar 16 workers para começar e avalie o desempenho do site.