Una cosa que noté es que el problema de la cola de sidekiq comenzó justo después de que actualicé a 3.4.0.beta4-dev, la otra instancia que instalé al mismo tiempo parece tener el mismo problema (confirmando ahora)
También miré los ids, parece que el sistema está intentando enviar un resumen del chat a todos los usuarios 
¿Es normal?
actualización:
Desactivar el chat evita que esos trabajos se pongan en cola nuevamente, pero mi sitio necesita la función de chat, y todavía estoy investigando otras soluciones.
otra actualización:
Desactivé la función de chat durante 2 días, la volví a activar y cambié los días de retención del canal de chat de 180 a 3 días. Ahora parece funcionar bien, todavía estaré atento.
actualización 02/01:
Establecí los días de retención en 7, alrededor de 1.101.685 trabajos en cola en este momento, parece que mi servidor puede manejar esta cantidad y el sitio no se volverá lento.