He estado realizando pruebas de importación desde otro software con un tablero grande (~10 millones de publicaciones) y he notado que, mientras se ejecuta el proceso de importación, veo otro proceso de Ruby que parece ser Sidekiq acumulando una gran cantidad de procesos en cola (Sidekiq muestra más de 100.000 procesos encolados). ¿Existe una mejor manera de manejar esto? ¿Es posible (o recomendable) desactivar Sidekiq mientras se ejecuta una importación grande? De ser así, ¿cómo lo haría?
Podrías desactivar la configuración del sitio discourse narrative bot enabled para dejar de crear ese mensaje para cada nuevo usuario, pero la mayoría de esas tareas deben ejecutarse. Hay algunos temas aquí sobre aumentar la cantidad de trabajos de Sidekiq para procesar la cola más rápidamente.
Ok, suena bien. Creo que añadir otro worker de Sidekiq podría ayudar. Probablemente también desactivaré esa configuración, como sugieres, al menos para la importación, aunque esto solo afecta a los usuarios. Mi principal problema será el procesamiento que debe realizarse con los millones de publicaciones.
Encontré este hilo sobre cómo ajustar la cantidad de workers de Sidekiq: Imported users not receiving verification emails due to massive Sidekiq backlog - #10 by gerhard
¡Gracias!
¿Las migraciones no desactivan a discobot durante la migración? Eso es bastante sorprendente.