axfelix
Maio 3, 2022, 3:34pm
1
Falha na reconstrução automática, parece que variações neste problema:
2022-05-03 15:30:54.370 UTC [1262] discourse@discourse LOG: duration: 1707.909 ms statement: INSERT INTO post_hotlinked_media (post_id, url, status, upload_id, created_at, updated_at)
SELECT
post_id,
obj.key AS url,
'downloaded',
obj.value::bigint AS upload_id,
pcf.created_at,
pcf.updated_at
FROM post_custom_fields pcf
JOIN json_each_text(pcf.value::json) obj ON true
JOIN uploads ON obj.value::bigint = uploads.id
WHERE name='downloaded_images'
ERROR: duplicate key value violates unique constraint \"index_post_hotlinked_media_on_post_id_and_url_md5\"
Reconstruí há menos de um mês sem erros, então o que quer que tenha introduzido isso parece ter sido recente.
4 curtidas
axfelix
Maio 3, 2022, 4:09pm
3
parece ter algo a ver com este commit recente?
# frozen_string_literal: true
class CreatePostHotlinkedMedia < ActiveRecord::Migration[6.1]
def change
reversible do |dir|
dir.up do
execute <<~SQL
CREATE TYPE hotlinked_media_status AS ENUM('downloaded', 'too_large', 'download_failed', 'upload_create_failed')
SQL
end
dir.down do
execute <<~SQL
DROP TYPE hotlinked_media_status
SQL
end
end
create_table :post_hotlinked_media do |t|
t.bigint :post_id, null: false
t.string :url, null: false
show original
@david
2 curtidas
david
Maio 3, 2022, 4:15pm
4
Sim, é isso. Tenho uma correção em andamento, deve ser mesclada nos próximos minutos. Obrigado por relatar @axfelix
main ← hotlinked-conflict
opened 03:54PM - 03 May 22 UTC
In the old custom_field-based system, it was possible for a url to be both 'down… loaded' and 'broken'. The new table enforces uniqueness, so we need to drop invalid data.
9 curtidas
axfelix
Maio 3, 2022, 4:39pm
5
Obrigado, foi rápido!
Preciso fazer algo especial para baixar isso? Ainda estou recebendo Causado por:\nActiveRecord::RecordNotUnique: PG::UniqueViolation: ERROR: duplicate key value violates unique constraint \"index_post_hotlinked_media_on_post_id_and_url_md5\" ao executar uma reconstrução do launcher, mesmo após fazer um Docker prune.
david
Maio 3, 2022, 4:48pm
6
O conserto acabou de passar nos testes há alguns segundos. Se você reconstruir agora, deve funcionar muito melhor. Nos diga como foi.
5 curtidas
david
Maio 3, 2022, 6:07pm
7
Encontramos mais um local que pode causar esse erro. Portanto, se a primeira correção não ajudou, esta deve ajudar
committed 05:51PM - 03 May 22 UTC
custom_field data on some sites has duplicate values for a given url key in the … JSON value. This is invalid, so we should drop the extra data.
(agora ativo em tests-passed)
4 curtidas
pfaffman
Maio 3, 2022, 7:31pm
8
Na minha instância de desenvolvimento, a migração do banco de dados é bem-sucedida, mas se eu restaurar um backup de 2022-04-27-153103-v20220407195246.tar.gz, ele falha:
[361/9020]
Migrating the database... EXCEPTION: /home/pfaffman/src/discourse-repos/discourse/lib/discourse.rb:126:in `exec': Failed to migrat
e database.
Ignoring /home/pfaffman/src/discourse-repos/discourse/db/schema_cache.yml because it has expired. The cu
rrent schema version is 20220407195246, but the one in the schema cache file is 20220428094027.
rake aborted!
StandardError: An error has occurred, this and all later migrations canceled:
seguido por mais disso com alguns destes:
ActiveRecord::StatementInvalid: PG::DuplicateObject: ERROR: type \"hotlinked_media_status\" already exist
1 curtida
axfelix
Maio 3, 2022, 9:22pm
9
Só para informar que a primeira correção funcionou para nós após passar nos testes!
2 curtidas
david
Maio 3, 2022, 9:30pm
10
Ótimo, obrigado por confirmar!
Abri um PR com uma correção para esse:
main ← fix-restore-enums
opened 09:27PM - 03 May 22 UTC
c1db9687 introduced an postgres enum type. Our database restore logic did not ha… ndle custom types correctly, and would therefore raise a 'type already exists' error when restoring any backup.
This commit adds restore handling for enums, mirroring the similar logic for tables and views.
---
(This code is not tested by rspec, but it is tested by a regular internal job at CDCK, which correctly picked up on this issue)
4 curtidas
pfaffman
Maio 4, 2022, 2:05pm
11
Concluído!
[SUCESSO]
Restauração feita.
Obrigado!
2 curtidas
