Sim, isso provavelmente ajudaria.
env:
UNICORN_WORKERS: 8
no app.yml fará isso.
Recomendo obter números de desempenho usando o plugin prometheus se você o tiver configurado, ou você pode usar cabeçalhos de desempenho.
Analisar seus logs da web deve ajudar muito a identificar por que seu servidor está tão ocupado; parece que os rastreadores são um bom lugar para começar.