S3 迁移错误，涉及 oneboxed 帖子

simonk · 2020 年10 月 19 日 14:47

大家好，

我正尝试使用 rake uploads:migrate_to_s3 命令将本地上传存储迁移到 S3。目前该命令在 migration_successful? 检查阶段失败，报错如下：

1 posts are not remapped to new S3 upload URL. S3 migration failed for db 'default'

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

v2.6.0.beta4


      
          count = Upload.by_users.where("url NOT LIKE '#{base_url}%'").count
          if count > 0
            error_message = "#{count} of #{Upload.count} uploads are not migrated to S3. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          cdn_path = SiteSetting.cdn_path("/uploads/#{@current_db}/original").sub(/https?:/, "")
          count = Post.where("cooked LIKE '%#{cdn_path}%'").count
          if count > 0
            error_message = "#{count} posts are not remapped to new S3 upload URL. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          Discourse::Application.load_tasks unless Rake::Task.task_defined?(MISSING_UPLOADS_RAKE_TASK_NAME)
          Rake::Task[MISSING_UPLOADS_RAKE_TASK_NAME]
          count = DB.query_single(<<~SQL, Post::MISSING_UPLOADS, Post::MISSING_UPLOADS_IGNORED).first
            SELECT COUNT(1)
            FROM posts p
            WHERE EXISTS (

我的站点未使用 CDN，因此脚本中相关部分仅查找 cooked 内容中包含 /uploads/default/original 的帖子。

我修改了脚本以显示失败的帖子，结果发现该帖子包含指向另一个 Discourse 论坛的 onebox。其生成的 HTML 中包含指向该论坛 logo 的链接。由于另一个论坛也未使用 CDN，其 logo URL 中包含了上述字符串。

看来该测试需要进一步收紧，以确保仅匹配本地引用。或许需要将其拆分为两个测试：一个针对包含站点名称的绝对 URL，另一个针对相对引用？

提前感谢任何建议。

话题		回复	浏览量
False positives on "posts are not remapped to new S3 upload URL" Bug s3	5	141	2025 年6 月 22 日
Migrate_to_s3 fails Self-hosting s3	26	1972	2022 年2 月 22 日
Migrating old uploads to S3 Self-hosting s3	8	1619	2021 年5 月 11 日
Migrate to s3 failed - but only check fails Bug	0	33	2026 年1 月 23 日
Migrate_to_S3 Fails on Rebake Self-hosting	17	2483	2022 年9 月 10 日

S3 迁移错误，涉及 oneboxed 帖子

相关话题