Uma coisa que notei é que o problema da fila do sidekiq começou logo depois que atualizei para 3.4.0.beta4-dev, a outra instância que instalei na mesma época parece ter o problema também (confirmando agora)
também olhei os ids, parece que o sistema está tentando enviar um resumo do chat para todos os usuários 
isso é normal?
atualização:
Desativar o chat impede que esses trabalhos sejam enfileirados novamente, mas meu site meio que precisa da função de chat, e ainda estou procurando outras soluções.
outra atualização:
Desativei a função de chat por 2 dias, ativei novamente e alterei os dias de retenção do canal de Chat de 180 para 3 dias. Agora parece funcionar bem, ainda ficarei de olho nisso.
atualização 02/01:
Defini os dias de retenção para 7, cerca de 1.101.685 trabalhos enfileirados agora, parece que meu servidor consegue lidar com essa quantidade e o site não ficará lento.