oneboxed投稿でのS3移行エラー

simonk · 2020 年 10 月 19 日午後 2:47

みなさん、こんにちは。

rake uploads:migrate_to_s3 コマンドを使用して、ローカルアップロードストレージから S3 への移行を試みています。しかし、現在 migration_successful? チェックの段階で以下のエラーが発生して失敗しています。

1 posts are not remapped to new S3 upload URL. S3 migration failed for db 'default'

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

v2.6.0.beta4


      
          count = Upload.by_users.where("url NOT LIKE '#{base_url}%'").count
          if count > 0
            error_message = "#{count} of #{Upload.count} uploads are not migrated to S3. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          cdn_path = SiteSetting.cdn_path("/uploads/#{@current_db}/original").sub(/https?:/, "")
          count = Post.where("cooked LIKE '%#{cdn_path}%'").count
          if count > 0
            error_message = "#{count} posts are not remapped to new S3 upload URL. #{failure_message}"
            raise_or_log(error_message, should_raise)
            success = false
          end
          
          Discourse::Application.load_tasks unless Rake::Task.task_defined?(MISSING_UPLOADS_RAKE_TASK_NAME)
          Rake::Task[MISSING_UPLOADS_RAKE_TASK_NAME]
          count = DB.query_single(<<~SQL, Post::MISSING_UPLOADS, Post::MISSING_UPLOADS_IGNORED).first
            SELECT COUNT(1)
            FROM posts p
            WHERE EXISTS (

当サイトは CDN を使用していないため、スクリプトの該当部分は /uploads/default/original を含む調理済みコンテンツ（cooked content）を持つ投稿を検索するようになっています。

スクリプトを編集して失敗した投稿を表示するようにしたところ、それは他の Discourse フォーラムへの onebox が含まれた投稿であることが判明しました。調理済みの HTML には、他のフォーラムのロゴへのリンクが含まれていました。他のフォーラムも CDN を使用していないため、ロゴの URL にその文字列が含まれていたのです。

このテストは、ローカル参照のみを抽出するように何らかの形で厳密にする必要があるようです。サイト名を含む絶対 URL と相対参照を別々のテストに分ける必要があるかもしれません。

ご提案をいただければ幸いです。よろしくお願いいたします。

トピック		返信	表示
False positives on "posts are not remapped to new S3 upload URL" Bug s3	5	141	2025 年 6 月 22 日
Migrate_to_s3 fails Self-hosting s3	26	1972	2022 年 2 月 22 日
Migrating old uploads to S3 Self-hosting s3	8	1619	2021 年 5 月 11 日
Migrate to s3 failed - but only check fails Bug	0	33	2026 年 1 月 23 日
Migrate_to_S3 Fails on Rebake Self-hosting	17	2483	2022 年 9 月 10 日

oneboxed投稿でのS3移行エラー

関連トピック