Ok, parece bom. Acho que adicionar outro worker do Sidekiq pode ajudar. Provavelmente também vou desativar essa configuração, como você sugeriu, pelo menos para a importação, embora isso venha apenas dos usuários. Meu principal problema será o processamento necessário para milhões de posts.
Encontrei este tópico sobre como ajustar o número de workers do Sidekiq: Imported users not receiving verification emails due to massive Sidekiq backlog - #10 by gerhard
Obrigado!