Erreur de migration S3 avec les posts oneboxed

simonk · Octobre 19, 2020, 2:47

Bonjour à tous,

J’essaie de migrer du stockage local vers S3 en utilisant la commande rake uploads:migrate_to_s3. Elle échoue actuellement lors des vérifications migration_successful? avec l’erreur suivante :

1 posts are not remapped to new S3 upload URL. S3 migration failed for db 'default'

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

v2.6.0.beta4


      
          count = Upload.by_users.where("url NOT LIKE '#{base_url}%'").count
          if count > 0
            error_message = "#{count} of #{Upload.count} uploads are not migrated to S3. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          cdn_path = SiteSetting.cdn_path("/uploads/#{@current_db}/original").sub(/https?:/, "")
          count = Post.where("cooked LIKE '%#{cdn_path}%'").count
          if count > 0
            error_message = "#{count} posts are not remapped to new S3 upload URL. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          Discourse::Application.load_tasks unless Rake::Task.task_defined?(MISSING_UPLOADS_RAKE_TASK_NAME)
          Rake::Task[MISSING_UPLOADS_RAKE_TASK_NAME]
          count = DB.query_single(<<~SQL, Post::MISSING_UPLOADS, Post::MISSING_UPLOADS_IGNORED).first
            SELECT COUNT(1)
            FROM posts p
            WHERE EXISTS (

Mon site n’utilise pas de CDN, donc cette partie du script se contente de rechercher les publications dont le contenu cuisiné contient /uploads/default/original.

J’ai modifié le script pour afficher la publication qui échouait, et il s’est avéré qu’il s’agissait d’une publication incluant une onebox vers un autre forum Discourse. Le HTML cuisiné contenait un lien vers le logo de l’autre forum. Comme cet autre forum n’utilise pas non plus de CDN, l’URL du logo inclut cette chaîne de caractères.

Il semble que le test doive être renforcé d’une manière ou d’une autre pour ne sélectionner que les références locales. Peut-être faudrait-il le diviser en deux tests : l’un pour les URL absolues incluant le nom du site, et l’autre pour les références relatives ?

Merci d’avance pour vos suggestions.

Sujet		Réponses	Vues
False positives on "posts are not remapped to new S3 upload URL" Bug s3	5	141	Juin 22, 2025
Migrate_to_s3 fails Self-hosting s3	26	1972	Février 22, 2022
Migrating old uploads to S3 Self-hosting s3	8	1619	Mai 11, 2021
Migrate to s3 failed - but only check fails Bug	0	33	Janvier 23, 2026
Migrate_to_S3 Fails on Rebake Self-hosting	17	2483	Septembre 10, 2022

Erreur de migration S3 avec les posts oneboxed

Sujets connexes