Sí, probablemente ayudaría.
env:
UNICORN_WORKERS: 8
en el app.yml hará esto.
Recomiendo obtener números de rendimiento utilizando el plugin prometheus si lo tienes configurado, o puedes usar encabezados de rendimiento.
Analizar tus registros web debería ayudar mucho a identificar por qué tu servidor está tan ocupado; parece que los rastreadores son un buen lugar para empezar.