Tenho feito testes de importação a partir de outro software com um fórum grande (~10 milhões de posts) e notei que, enquanto o processo de importação está em execução, vejo outro processo Ruby que parece ser o Sidekiq acumulando uma grande quantidade de processos em fila (o Sidekiq mostrando mais de 100.000 processos enfileirados). Existe uma maneira melhor de lidar com isso? É possível (ou recomendado) desativar o Sidekiq durante uma importação grande? Se sim, como faço isso?
Você pode desativar a configuração do site discourse narrative bot enabled para evitar que essa mensagem seja criada para cada novo usuário, mas a maioria dessas tarefas precisa ser executada. Existem alguns tópicos aqui sobre aumentar o número de jobs Sidekiq para processar a fila mais rapidamente.
Ok, parece bom. Acho que adicionar outro worker do Sidekiq pode ajudar. Provavelmente também vou desativar essa configuração, como você sugeriu, pelo menos para a importação, embora isso venha apenas dos usuários. Meu principal problema será o processamento necessário para milhões de posts.
Encontrei este tópico sobre como ajustar o número de workers do Sidekiq: Imported users not receiving verification emails due to massive Sidekiq backlog - #10 by gerhard
Obrigado!
As migrações não desligam o discobot durante a migração? Isso é meio chocante.