Sidekiq está consumindo muita memória mesmo com UNICORN_SIDEKIQ_MAX_RSS ajustado

Houve alguma resolução para isso, pois vejo em meus logs:

Sidekiq está consumindo muita memória (usando: 501.37M), reiniciando

UNICORN_SIDEKIQ_MAX_RSS: 1000

e o site não é muito movimentado

O que mais devo tentar?