Erro de migração S3 com posts oneboxed

simonk · Outubro 19, 2020, 2:47pm

Olá a todos,

Estou tentando migrar do armazenamento de uploads local para o S3 usando o comando rake uploads:migrate_to_s3. Ele está falhando atualmente durante as verificações migration_successful? com o seguinte erro:

1 post não foi remapeado para a nova URL de upload do S3. A migração do S3 falhou para o banco de dados 'default'

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

v2.6.0.beta4


      
          count = Upload.by_users.where("url NOT LIKE '#{base_url}%'").count
          if count > 0
            error_message = "#{count} of #{Upload.count} uploads are not migrated to S3. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          cdn_path = SiteSetting.cdn_path("/uploads/#{@current_db}/original").sub(/https?:/, "")
          count = Post.where("cooked LIKE '%#{cdn_path}%'").count
          if count > 0
            error_message = "#{count} posts are not remapped to new S3 upload URL. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          Discourse::Application.load_tasks unless Rake::Task.task_defined?(MISSING_UPLOADS_RAKE_TASK_NAME)
          Rake::Task[MISSING_UPLOADS_RAKE_TASK_NAME]
          count = DB.query_single(<<~SQL, Post::MISSING_UPLOADS, Post::MISSING_UPLOADS_IGNORED).first
            SELECT COUNT(1)
            FROM posts p
            WHERE EXISTS (

Meu site não usa CDN, então essa parte do script simplesmente procura por posts cujo conteúdo renderizado contenha /uploads/default/original.

Editei o script para exibir o post que estava falhando, e resultou ser um post que incluía um onebox para outro fórum Discourse. O HTML renderizado incluía um link para o logotipo do outro fórum. Como o outro fórum também não usa CDN, a URL do logotipo inclui essa string.

Parece que o teste precisa ser refinado de alguma forma para que ele capture apenas referências locais. Talvez precise ser dividido em dois testes: um para URLs absolutas que incluem o nome do site e outro para referências relativas?

Obrigado antecipadamente por qualquer sugestão.

Tópico		Respostas	Visualizações
False positives on "posts are not remapped to new S3 upload URL" Bug s3	5	141	22 de Junho de 2025
Migrate_to_s3 fails Self-hosting s3	26	1972	22 de Fevereiro de 2022
Migrating old uploads to S3 Self-hosting s3	8	1619	11 de Maio de 2021
Migrate to s3 failed - but only check fails Bug	0	33	23 de Janeiro de 2026
Migrate_to_S3 Fails on Rebake Self-hosting	17	2483	10 de Setembro de 2022

Erro de migração S3 com posts oneboxed

Tópicos relacionados