Ошибка миграции S3 для oneboxed постов

simonk · 19.Октябрь.2020 14:47:32

Всем привет,

Я пытаюсь выполнить миграцию с локального хранилища загрузок на S3, используя команду rake uploads:migrate_to_s3. В данный момент процесс завершается ошибкой на этапе проверок migration_successful? с следующим сообщением:

1 posts are not remapped to new S3 upload URL. S3 migration failed for db 'default'

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

v2.6.0.beta4


      
          count = Upload.by_users.where("url NOT LIKE '#{base_url}%'").count
          if count > 0
            error_message = "#{count} of #{Upload.count} uploads are not migrated to S3. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          cdn_path = SiteSetting.cdn_path("/uploads/#{@current_db}/original").sub(/https?:/, "")
          count = Post.where("cooked LIKE '%#{cdn_path}%'").count
          if count > 0
            error_message = "#{count} posts are not remapped to new S3 upload URL. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          Discourse::Application.load_tasks unless Rake::Task.task_defined?(MISSING_UPLOADS_RAKE_TASK_NAME)
          Rake::Task[MISSING_UPLOADS_RAKE_TASK_NAME]
          count = DB.query_single(<<~SQL, Post::MISSING_UPLOADS, Post::MISSING_UPLOADS_IGNORED).first
            SELECT COUNT(1)
            FROM posts p
            WHERE EXISTS (

Мой сайт не использует CDN, поэтому соответствующая часть скрипта просто ищет сообщения, в обработанном содержимом которых встречается строка /uploads/default/original.

Я отредактировал скрипт, чтобы он выводил информацию о сообщении, вызвавшем ошибку. Оказалось, что это сообщение содержало onebox, ведущий на другой форум Discourse. В обработанном HTML присутствовала ссылка на логотип этого другого форума. Поскольку тот форум также не использует CDN, URL логотипа включает указанную строку.

Похоже, что проверку нужно как-то ужесточить, чтобы она учитывала только локальные ссылки. Возможно, её следует разделить на два теста: один для абсолютных URL, содержащих имя сайта, и другой для относительных ссылок?

Заранее спасибо за любые предложения.

Тема		Ответов	Просм.
False positives on "posts are not remapped to new S3 upload URL" Bug s3	5	157	22.06.2025
Migrate_to_s3 fails Self-hosting s3	26	1989	22.02.2022
Migrating old uploads to S3 Self-hosting s3	8	1629	11.05.2021
Migrate to s3 failed - but only check fails Bug	0	37	23.01.2026
Migrate_to_S3 Fails on Rebake Self-hosting	17	2497	10.09.2022

Ошибка миграции S3 для oneboxed постов

Связанные темы