Error de migración: `ActiveRecord::NotNullViolation: PG::NotNullViolation: ERROR: la columna «private_message» contiene valores nulos`

[pfaffman (Jay Pfaffman)]

Estoy realizando una actualización en un sitio y está fallando con PG::NotNullViolation: ERROR: la columna "private_message" contiene valores nulos. No puedo encontrar dónde existe la columna private_message. No hay plugins no oficiales.

Ah. Espera. Aquí está esto:

(Ve el seguimiento completo ejecutando la tarea con --trace)                                                                                            
I, [2020-08-18T18:19:13.253667 #1]  INFO -- : == 20200818084329 UpdatePrivateMessageOnPostSearchData: migrando ============= 
-- execute("DELETE FROM post_search_data\nWHERE post_id IN (\n  SELECT posts.id\n  FROM posts\n  LEFT JOIN topics ON topics.id = posts.topic_id\n  WHERE topics.id IS NULL\n)\n")
   -> 21.9072s                                                                                                       
-- execute("DELETE FROM post_search_data\nWHERE post_id IN (\n  SELECT post_search_data.post_id\n  FROM post_search_data\n  LEFT JOIN posts ON posts.id = post_search_data.post_id\n  WHERE posts.id IS NULL\n)\n")                                                                       
   -> 47.2663s
-- execute("UPDATE post_search_data\nSET private_message = true\nFROM posts\nINNER JOIN topics ON topics.id = posts.topic_id AND topics.archetype = 'private_message'\nWHERE posts.id = post_search_data.post_id\n")                                                                      
   -> 107.2137s             
-- execute("UPDATE post_search_data\nSET private_message = false\nFROM posts\nINNER JOIN topics ON topics.id = posts.topic_id AND topics.archetype <> 'private_message'\nWHERE posts.id = post_search_data.post_id\n")
   -> 834.3738s                                                                                                                              
-- change_column_null(:post_search_data, :private_message, false)

Hola @tgxworld, creo que esto podría deberse a

DEV: Move data migration of `PostSearchData#private_message` into post_migration.

[tgxworld (Alan Tan)]

Hmm, esto es extraño… ¿puedes ejecutar las siguientes consultas en la consola de Rails y proporcionarme los resultados?

DB.query_single(<<~SQL)
SELECT COUNT(*) FROM post_search_data
SQL

DB.query_single(<<~SQL)
SELECT COUNT(*)
FROM post_search_data
LEFT JOIN posts ON posts.id = post_search_data.post_id
LEFT JOIN topics ON topics.id = posts.topic_id 
WHERE topics.id IS NULL
SQL

DB.query_single(<<~SQL)
SELECT COUNT(*)
FROM post_search_data
LEFT JOIN posts ON posts.id = post_search_data.post_id
WHERE posts.id IS NULL
SQL

DB.query_single(<<~SQL)
SELECT COUNT(*)
FROM post_search_data
INNER JOIN posts ON posts.id = post_search_data.post_id
INNER JOIN topics ON topics.id = posts.topic_id
SQL

[pfaffman (Jay Pfaffman)]

[2] pry(main)> 
[3] pry(main)> DB.query_single(<<~SQL)
[3] pry(main)* SELECT COUNT(*) FROM post_search_data
[3] pry(main)* SQL
=> [2200178]
[4] pry(main)> 
[5] pry(main)> DB.query_single(<<~SQL)
[5] pry(main)* SELECT COUNT(*)
[5] pry(main)* FROM post_search_data
[5] pry(main)* LEFT JOIN posts ON posts.id = post_search_data.post_id
[5] pry(main)* LEFT JOIN topics ON topics.id = posts.topic_id 
[5] pry(main)* WHERE topics.id IS NULL
[5] pry(main)* SQL

=> [39]
[6] pry(main)> 
[7] pry(main)> DB.query_single(<<~SQL)
[7] pry(main)* SELECT COUNT(*)
[7] pry(main)* FROM post_search_data
[7] pry(main)* LEFT JOIN posts ON posts.id = post_search_data.post_id
[7] pry(main)* WHERE posts.id IS NULL
[7] pry(main)* SQL
=> [0]
[8] pry(main)> 
[9] pry(main)> DB.query_single(<<~SQL)
[9] pry(main)* SELECT COUNT(*)
[9] pry(main)* FROM post_search_data
[9] pry(main)* INNER JOIN posts ON posts.id = post_search_data.post_id
[9] pry(main)* INNER JOIN topics ON topics.id = posts.topic_id
[9] pry(main)* SQL

[tgxworld (Alan Tan)]

Parece que el último recuento no se ejecutó.

[pfaffman (Jay Pfaffman)]

Lo siento. Sigo teniendo problemas porque el botón de copiar al hacer clic no incluye el salto de línea del terminal.

[2] pry(main)> 
[3] pry(main)> DB.query_single(<<~SQL)
[3] pry(main)* SELECT COUNT(*)
[3] pry(main)* FROM post_search_data
[3] pry(main)* INNER JOIN posts ON posts.id = post_search_data.post_id
[3] pry(main)* INNER JOIN topics ON topics.id = posts.topic_id
[3] pry(main)* SQL
=> [2200797]

[tgxworld (Alan Tan)]

Lo sentimos, tienes que ejecutar todas las consultas juntas de lo contrario, los nuevos posts que se creen alterarán el recuento.

[pfaffman (Jay Pfaffman)]

Es tan obvio cuando lo dices… ¡Y fue más trabajo ejecutar solo una consulta!

[1] pry(main)> DB.query_single(<<~SQL)
[1] pry(main)* SELECT COUNT(*) FROM post_search_data
[1] pry(main)* SQL
=> [2200995]
[2] pry(main)> 
[3] pry(main)> DB.query_single(<<~SQL)
[3] pry(main)* SELECT COUNT(*)
[3] pry(main)* FROM post_search_data
[3] pry(main)* LEFT JOIN posts ON posts.id = post_search_data.post_id
[3] pry(main)* LEFT JOIN topics ON topics.id = posts.topic_id 
[3] pry(main)* WHERE topics.id IS NULL
[3] pry(main)* SQL
=> [39]
[4] pry(main)> 
[5] pry(main)> DB.query_single(<<~SQL)
[5] pry(main)* SELECT COUNT(*)
[5] pry(main)* FROM post_search_data
[5] pry(main)* LEFT JOIN posts ON posts.id = post_search_data.post_id
[5] pry(main)* WHERE posts.id IS NULL
[5] pry(main)* SQL
=> [0]
[6] pry(main)> 
[7] pry(main)> DB.query_single(<<~SQL)
[7] pry(main)* SELECT COUNT(*)
[7] pry(main)* FROM post_search_data
[7] pry(main)* INNER JOIN posts ON posts.id = post_search_data.post_id
[7] pry(main)* INNER JOIN topics ON topics.id = posts.topic_id
[7] pry(main)* SQL
=> [2200956]
[8] pry(main)> 

[tgxworld (Alan Tan)]

@pfaffman Solo quiero confirmar que esto se ha resuelto según nuestro PM.

[pfaffman (Jay Pfaffman)]

Lo siento, Alan. Sí, esto se resolvió. ¡Gracias por tu ayuda con esto!

Para cualquier otra persona con este problema, si ejecutas un simple ./launcher rebuild app, no deberías tener problemas, excepto que tu sitio podría estar fuera de línea durante mucho tiempo mientras la parte de arranque (bootstrap) de la reconstrucción migra la base de datos. Esta es la opción segura y sencilla, y a menos que tengas una instalación de 2 contenedores, es lo que harías de todos modos.

No quería tener el sitio fuera de línea durante todo el arranque. Para este foro grande (5 millones de publicaciones y ~50.000 visitas diarias?), mi solución (que descubrí solo con la ayuda de Alan) fue realizar el arranque con las migraciones posteriores a la actualización desactivadas (las migraciones no tomaron prácticamente ningún tiempo), iniciar el nuevo contenedor y luego ejecutar las migraciones posteriores a la actualización (las migraciones tomaron entre 20 y 40 minutos; no estaba prestando mucha atención al reloj).

Si a alguien más le interesa, desde entonces he aprendido que realizar la actualización con docker_manager hace esto de manera mucho más fluida, así que eso es lo que recomendaría si alguien más tiene un foro grande y problemas con el arranque.