Error de migración S3 con publicaciones oneboxed

simonk · 19 Octubre, 2020 14:47

Hola a todos,

Estoy intentando migrar del almacenamiento de carga local a S3 usando el comando rake uploads:migrate_to_s3. Actualmente está fallando durante las verificaciones de migration_successful? con este error:

1 posts are not remapped to new S3 upload URL. S3 migration failed for db 'default'

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

v2.6.0.beta4


      
          count = Upload.by_users.where("url NOT LIKE '#{base_url}%'").count
          if count > 0
            error_message = "#{count} of #{Upload.count} uploads are not migrated to S3. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          cdn_path = SiteSetting.cdn_path("/uploads/#{@current_db}/original").sub(/https?:/, "")
          count = Post.where("cooked LIKE '%#{cdn_path}%'").count
          if count > 0
            error_message = "#{count} posts are not remapped to new S3 upload URL. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          Discourse::Application.load_tasks unless Rake::Task.task_defined?(MISSING_UPLOADS_RAKE_TASK_NAME)
          Rake::Task[MISSING_UPLOADS_RAKE_TASK_NAME]
          count = DB.query_single(<<~SQL, Post::MISSING_UPLOADS, Post::MISSING_UPLOADS_IGNORED).first
            SELECT COUNT(1)
            FROM posts p
            WHERE EXISTS (

Mi sitio no utiliza una CDN, por lo que esa parte del script simplemente busca publicaciones cuyo contenido cocinado contenga /uploads/default/original.

Edité el script para mostrar la publicación que estaba fallando, y resultó ser una publicación que incluía un onebox a otro foro de Discourse. El HTML cocinado incluía un enlace al logotipo del otro foro. Como ese otro foro tampoco utiliza una CDN, la URL del logotipo incluye esa cadena.

Parece que la prueba necesita afinarse de alguna manera para que solo seleccione referencias locales. ¿Quizás sea necesario dividirla en dos pruebas, una para URLs absolutas que incluyan el nombre del sitio y otra para referencias relativas?

Gracias de antemano por cualquier sugerencia.

Tema		Respuestas	Vistas
False positives on "posts are not remapped to new S3 upload URL" Bug s3	5	141	22 Junio 2025
Migrate_to_s3 fails Self-hosting s3	26	1972	22 Febrero 2022
Migrating old uploads to S3 Self-hosting s3	8	1619	11 Mayo 2021
Migrate to s3 failed - but only check fails Bug	0	33	23 Enero 2026
Migrate_to_S3 Fails on Rebake Self-hosting	17	2483	10 Septiembre 2022

Error de migración S3 con publicaciones oneboxed

Temas relacionados