Acho que o próximo melhor passo aqui é configurar o monitoramento histórico do seu sistema para que possamos identificar onde está o gargalo, pois já estabelecemos que não é o tempo de CPU. É sempre possível que você esteja saturando sua conexão de rede!
mais métricas de servidor mais tradicionais, como o node-exporter.