فشل الانتقال إلى S3 أثناء إعادة التحضير

TheEngineer · 14 مايو 2020، 1:08م

بمساعدة @itsbhanusharma، كنت أعمل على نقل ملفات التحميل القديمة إلى S3.

اتبعت الخطوات في هذا الدليل:

بعد إعادة البناء، لم تنتقل ملفات التحميل إلى S3، وهو أمر غريب. أفاد أداة Discourse-doctor بوجود مشكلة في DNS:

> 
> ========================================
> إصدار Discourse على : غير موجود
> إصدار Discourse على localhost: Discourse 2.5.0.beta4
> **> ==================== مشكلة DNS ====================**
> **> يُبلغ هذا الخادم عن إصدار Discourse 2.5.0.beta4، لكنه يُبلغ أيضًا بعدم وجوده.**
> **> هذا يشير إلى وجود مشكلة في DNS أو أن وسيط وكيل هو المسؤول.**
> **> إذا كنت تستخدم Cloudflare أو شبكة توصيل محتوى (CDN)، فقد تكون مضبوطة بشكل غير صحيح.**

نفذت عملية هجرة يدوية إلى S3 وحصلت على النتيجة التالية:

 > root@discourse-app:/var/www/discourse# rake --trace uploads:migrate_to_s3
> ** Invoke uploads:migrate_to_s3 (first_time)
> ** Invoke environment (first_time)
> ** Execute environment
> ** Execute uploads:migrate_to_s3
> جاري نقل ملفات التحميل إلى S3 للموقع 'default'...
> جاري تحميل الملفات إلى S3...
>  - جاري سرد الملفات المحلية
> .. => 2980 ملف
>  - جاري سرد ملفات S3
> .... => 3156 ملف
>  - جاري مزامنة الملفات مع S3
> ....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
> جاري تحديث الروابط في قاعدة البيانات...
> تحذير: لم يتم تعريف تحويل نوع لنوع "name" بمعرف oid 19. يرجى تحويل هذا النوع صراحةً إلى TEXT لضمان الأمان أمام التغييرات المستقبلية.
> جاري إزالة الصور المحسنة القديمة...
> جاري وضع علامة على جميع المنشورات التي تحتوي على صناديق خفيفة لإعادة البناء...
> تم وضع علامة على 781 منشور لإعادة البناء
> rake aborted!
> FileStore::ToS3MigrationError: لم يتم إعادة تعيين 68 منشورًا إلى عنوان URL الجديد لملفات التحميل على S3. فشلت هجرة S3 لقاعدة البيانات 'default'.
> /var/www/discourse/lib/file_store/to_s3_migration.rb:131:in `raise_or_log'
> /var/www/discourse/lib/file_store/to_s3_migration.rb:86:in `migration_successful?'
> /var/www/discourse/lib/file_store/to_s3_migration.rb:351:in `migrate_to_s3'
> /var/www/discourse/lib/file_store/to_s3_migration.rb:65:in `migrate'
> /var/www/discourse/lib/tasks/uploads.rake:239:in `migrate_to_s3'
> /var/www/discourse/lib/tasks/uploads.rake:218:in `block in migrate_to_s3_all_sites'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rails_multisite-2.1.2/lib/rails_multisite/connection_management.rb:64:in `with_connection'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rails_multisite-2.1.2/lib/rails_multisite/connection_management.rb:74:in `each_connection'
> /var/www/discourse/lib/tasks/uploads.rake:216:in `migrate_to_s3_all_sites'
> /var/www/discourse/lib/tasks/uploads.rake:212:in `block in <top (required)>'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/task.rb:281:in `block in execute'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/task.rb:281:in `each'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/task.rb:281:in `execute'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/task.rb:219:in `block in invoke_with_call_chain'
> /usr/local/lib/ruby/2.6.0/monitor.rb:235:in `mon_synchronize'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/task.rb:199:in `invoke_with_call_chain'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/task.rb:188:in `invoke'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:160:in `invoke_task'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:116:in `block (2 levels) in top_level'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:116:in `each'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:116:in `block in top_level'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:125:in `run_with_threads'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:110:in `top_level'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:83:in `block in run'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:186:in `standard_exception_handling'
> /var/www/discourse/vendor/bundle/ruby/2.6.0/gems/rake-13.0.1/lib/rake/application.rb:80:in `run'
> bin/rake:13:in `<top (required)>'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/cli/exec.rb:63:in `load'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/cli/exec.rb:63:in `kernel_load'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/cli/exec.rb:28:in `run'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/cli.rb:476:in `exec'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/vendor/thor/lib/thor/command.rb:27:in `run'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/vendor/thor/lib/thor/invocation.rb:127:in `invoke_command'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/vendor/thor/lib/thor.rb:399:in `dispatch'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/cli.rb:30:in `dispatch'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/vendor/thor/lib/thor/base.rb:476:in `start'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/cli.rb:24:in `start'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/exe/bundle:46:in `block in <top (required)>'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/lib/bundler/friendly_errors.rb:123:in `with_friendly_errors'
> /usr/local/lib/ruby/gems/2.6.0/gems/bundler-2.1.4/exe/bundle:34:in `<top (required)>'
> /usr/local/bin/bundle:23:in `load'
> /usr/local/bin/bundle:23:in `<main>'
> Tasks: TOP => uploads:migrate_to_s3
> root@discourse-app:/var/www/discourse#

codinghorror · 14 مايو 2020، 1:46م

أي أفكار حول هذا @gerhard؟

gerhard · 14 مايو 2020، 2:31م

يفشل الأمر لأن الفحص التالي يفشل:

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

main


      
            success = false
          end
          
          unless Rake::Task.task_defined?(MISSING_UPLOADS_RAKE_TASK_NAME)
            Discourse::Application.load_tasks
          end
          Rake::Task[MISSING_UPLOADS_RAKE_TASK_NAME]

أقترح عليك معرفة سبب عدم إعادة تعيين هذه المسارات بشكل صحيح. جرّب تشغيل ما يلي في وحدة تحكم Rails لمراجعة محتوى cooked لتلك المنشورات. قد تجد دليلاً ما بين السطور…

current_db = RailsMultisite::ConnectionManagement.current_db
cdn_path = SiteSetting.cdn_path("/uploads/#{current_db}/original").sub(/https?:/, "")
Post.where("cooked LIKE '%#{cdn_path}%'").pluck(:cooked)

TheEngineer · 14 مايو 2020، 4:34م

إليك مخرجات وحدة تحكم Rails: (هذا جزء منها فقط وهي غير مرتبة)

root@discourse-app:/var/www/discourse# rails console
[1] pry(main)> current_db = RailsMultisite::ConnectionManagement.current_db
=> "default"
[2] pry(main)> cdn_path = SiteSetting.cdn_path("/uploads/#{current_db}/original").sub(/https?:/, "")
=> "/uploads/default/original"
[3] pry(main)> Post.where("cooked LIKE '%#{cdn_path}%'").pluck(:cooked)
=> ["<p>U.C. Tricolor frag $30<br>\nRed Stylocoeniella $30<br>\nBranching Cyphastrea $40<br>\nOrenji Mont frag $30</p>\n<hr>\n<p><div class=\"lightbox-wrapper\"><a class=\"lightbox\" href=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/2/282821b1e16dce48ac11f1d607412e1bfed61534.jpeg\" data-download-href=\"/uploads/short-url/5Jf4Z7WaQqYix5IDWN12IlLoYfi.jpeg?dl=1\" title=\"DSCN0069-005.JPG\"><img src=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/2/282821b1e16dce48ac11f1d607412e1bfed61534_2_524x500.jpeg\" alt=\"DSCN0069-005.JPG\" data-base62-sha1=\"5Jf4Z7WaQqYix5IDWN12IlLoYfi\" width=\"524\" height=\"500\" srcset=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/2/282821b1e16dce48ac11f1d607412e1bfed61534_2_524x500.jpeg, https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/2/282821b1e16dce48ac11f1d607412e1bfed61534_2_786x750.jpeg 1.5x, /uploads/default/original/2X/2/282821b1e16dce48ac11f1d607412e1bfed61534.jpeg 2x\" data-small-upload=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/2/282821b1e16dce48ac11f1d607412e1bfed61534_2_10x10.png\"><div class=\"meta\"><svg class=\"fa d-icon d-icon-far-image svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#far-image\"></use></svg><span class=\"filename\">DSCN0069-005.JPG</span><span class=\"informations\">800×762 181 KB</span><svg class=\"fa d-icon d-icon-discourse-expand svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#discourse-expand\"></use></svg></div></a></div></p>\n<p><div class=\"lightbox-wrapper\"><a class=\"lightbox\" href=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/9/960e0f184917ad7e0bbf2d6c31cf546fa9e124f5.jpeg\" data-download-href=\"/uploads/short-url/lprJZk3t4LfijslovcQ9kgaqzcN.jpeg?dl=1\" title=\"DSCN0119-003.JPG\"><img src=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/9/960e0f184917ad7e0bbf2d6c31cf546fa9e124f5_2_513x500.jpeg\" alt=\"DSCN0119-003.JPG\" data-base62-sha1=\"lprJZk3t4LfijslovcQ9kgaqzcN\" width=\"513\" height=\"500\" srcset=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/9/960e0f184917ad7e0bbf2d6c31cf546fa9e124f5_2_513x500.jpeg, https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/9/960e0f184917ad7e0bbf2d6c31cf546fa9e124f5_2_769x750.jpeg 1.5x, /uploads/default/original/2X/9/960e0f184917ad7e0bbf2d6c31cf546fa9e124f5.jpeg 2x\" data-small-upload=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/9/960e0f184917ad7e0bbf2d6c31cf546fa9e124f5_2_10x10.png\"><div class=\"meta\"><svg class=\"fa d-icon d-icon-far-image svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#far-image\"></use></svg><span class=\"filename\">DSCN0119-003.JPG</span><span class=\"informations\">800×779 186 KB</span><svg class=\"fa d-icon d-icon-discourse-expand svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#discourse-expand\"></use></svg></div></a></div></p>\n<p><div class=\"lightbox-wrapper\"><a class=\"lightbox\" href=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/5/548f0324f3b0e8dd482729c1d1f5c450b5556919.jpeg\" data-download-href=\"/uploads/short-url/c42vC8e8IRT52htW2RX7YedLpaN.jpeg?dl=1\" title=\"DSCN0072-004.JPG\"><img src=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/5/548f0324f3b0e8dd482729c1d1f5c450b5556919.jpeg\" alt=\"DSCN0072-004.JPG\" data-base62-sha1=\"c42vC8e8IRT52htW2RX7YedLpaN\" width=\"468\" height=\"500\" data-small-upload=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/5/548f0324f3b0e8dd482729c1d1f5c450b5556919_2_10x10.png\"><div class=\"meta\"><svg class=\"fa d-icon d-icon-far-image svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#far-image\"></use></svg><span class=\"filename\">DSCN0072-004.JPG</span><span class=\"informations\">750×800 180 KB</span><svg class=\"fa d-icon d-icon-discourse-expand svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#discourse-expand\"></use></svg></div></a></div></p>\n<p><div class=\"lightbox-wrapper\"><a class=\"lightbox\" href=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/d/dc75e2b57072ff260f99cfa9a7cc1e4f39c207f8.jpeg\" data-download-href=\"/uploads/short-url/vshBXgkYrsRhRqNFakI1jgIE5Sg.jpeg?dl=1\" title=\"DSCN0060-005.JPG\"><img src=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/d/dc75e2b57072ff260f99cfa9a7cc1e4f39c207f8_2_396x500.jpeg\" alt=\"DSCN0060-005.JPG\" data-base62-sha1=\"vshBXgkYrsRhRqNFakI1jgIE5Sg\" width=\"396\" height=\"500\" srcset=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/d/dc75e2b57072ff260f99cfa9a7cc1e4f39c207f8_2_396x500.jpeg, https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/d/dc75e2b57072ff260f99cfa9a7cc1e4f39c207f8_2_594x750.jpeg 1.5x, /uploads/default/original/2X/d/dc75e2b57072ff260f99cfa9a7cc1e4f39c207f8.jpeg 2x\" data-small-upload=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/d/dc75e2b57072ff260f99cfa9a7cc1e4f39c207f8_2_10x10.png\"><div class=\"meta\"><svg class=\"fa d-icon d-icon-far-image svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#far-image\"></use></svg><span class=\"filename\">DSCN0060-005.JPG</span><span class=\"informations\">635×800 196 KB</span><svg class=\"fa d-icon d-icon-discourse-expand svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#discourse-expand\"></use></svg></div></a></div></p>",
 "<p>U.C. Raspberry delight frag $39 "radion"<br>\nORA Kelly green psammacora $39 \"radion<br>\nU.C. Red Dragon Frag $30<br>\nU.C. Red dragon Smaller frag $20</p>\n<hr>\n<p><div class=\"lightbox-wrapper\"><a class=\"lightbox\" href=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/d/deb035a3639a3a3bb8b04ebd9da2b97fb5d8652d.jpeg\" data-download-href=\"/uploads/short-url/vLZwAqgUqcslrwos7Q27gheEVSR.jpeg?dl=1\" title=\"DSCN9908-003.JPG\"><img src=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/d/deb035a3639a3a3bb8b04ebd9da2b97fb5d8652d.jpeg\" alt=\"DSCN9908-003.JPG\" data-base62-sha1=\"vLZwAqgUqcslrwos7Q27gheEVSR\" width=\"561\" height=\"500\" data-small-upload=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/d/deb035a3639a3a3bb8b04ebd9da2b97fb5d8652d_2_10x10.png\"><div class=\"meta\"><svg class=\"fa d-icon d-icon-far-image svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#far-image\"></use></svg><span class=\"filename\">DSCN9908-003.JPG</span><span class=\"informations\">800×712 165 KB</span><svg class=\"fa d-icon d-icon-discourse-expand svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#discourse-expand\"></use></svg></div></a></div></p>\n<p><div class=\"lightbox-wrapper\"><a class=\"lightbox\" href=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/e/e579dab30a023f12755b22e8bb1c077b34225110.jpeg\" data-download-href=\"/uploads/short-url/wK2pz5DNtgezJhhQuxaFE52CvnO.jpeg?dl=1\" title=\"DSCN0059-005.JPG\"><img src=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/e/e579dab30a023f12755b22e8bb1c077b34225110_2_450x500.jpeg\" alt=\"DSCN0059-005.JPG\" data-base62-sha1=\"wK2pz5DNtgezJhhQuxaFE52CvnO\" width=\"450\" height=\"500\" srcset=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/e/e579dab30a023f12755b22e8bb1c077b34225110_2_450x500.jpeg, https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/e/e579dab30a023f12755b22e8bb1c077b34225110_2_675x750.jpeg 1.5x, /uploads/default/original/2X/e/e579dab30a023f12755b22e8bb1c077b34225110.jpeg 2x\" data-small-upload=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/e/e579dab30a023f12755b22e8bb1c077b34225110_2_10x10.png\"><div class=\"meta\"><svg class=\"fa d-icon d-icon-far-image svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#far-image\"></use></svg><span class=\"filename\">DSCN0059-005.JPG</span><span class=\"informations\">721×800 231 KB</span><svg class=\"fa d-icon d-icon-discourse-expand svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#discourse-expand\"></use></svg></div></a></div></p>\n<p><div class=\"lightbox-wrapper\"><a class=\"lightbox\" href=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/e/e5d72072aee537852120d7106522b543e6af9085.jpeg\" data-download-href=\"/uploads/short-url/wNgfm2qrVEyTWGfUV3QAc2EGKfX.jpeg?dl=1\" title=\"DSCN0066-005.JPG\"><img src=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/e/e5d72072aee537852120d7106522b543e6af9085_2_506x500.jpeg\" alt=\"DSCN0066-005.JPG\" data-base62-sha1=\"wNgfm2qrVEyTWGfUV3QAc2EGKfX\" width=\"506\" height=\"500\" srcset=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/e/e5d72072aee537852120d7106522b543e6af9085_2_506x500.jpeg, https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/e/e5d72072aee537852120d7106522b543e6af9085_2_759x750.jpeg 1.5x, /uploads/default/original/2X/e/e5d72072aee537852120d7106522b543e6af9085.jpeg 2x\" data-small-upload=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/e/e5d72072aee537852120d7106522b543e6af9085_2_10x10.png\"><div class=\"meta\"><svg class=\"fa d-icon d-icon-far-image svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#far-image\"></use></svg><span class=\"filename\">DSCN0066-005.JPG</span><span class=\"informations\">800×790 200 KB</span><svg class=\"fa d-icon d-icon-discourse-expand svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#discourse-expand\"></use></svg></div></a></div></p>\n<p><div class=\"lightbox-wrapper\"><a class=\"lightbox\" href=\"//brcuploads.s3.dualstack.us-east-1.amazonaws.com/original/2X/3/3cd28b0f2704180632ca5e714241b6b62f63459e.jpeg\" data-download-href=\"/uploads/short-url/8G3Jz9KwzbbXzYx3PYei4ayTmSa.jpeg?dl=1\" title=\"DSCN0068-005.JPG\"><img src=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/3/3cd28b0f2704180632ca5e714241b6b62f63459e_2_395x500.jpeg\" alt=\"DSCN0068-005.JPG\" data-base62-sha1=\"8G3Jz9KwzbbXzYx3PYei4ayTmSa\" width=\"395\" height=\"500\" srcset=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/3/3cd28b0f2704180632ca5e714241b6b62f63459e_2_395x500.jpeg, https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/3/3cd28b0f2704180632ca5e714241b6b62f63459e_2_592x750.jpeg 1.5x, /uploads/default/original/2X/3/3cd28b0f2704180632ca5e714241b6b62f63459e.jpeg 2x\" data-small-upload=\"https://d2hneyr8lp58j4.cloudfront.net/optimized/2X/3/3cd28b0f2704180632ca5e714241b6b62f63459e_2_10x10.png\"><div class=\"meta\"><svg class=\"fa d-icon d-icon-far-image svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#far-image\"></use></svg><span class=\"filename\">DSCN0068-005.JPG</span><span class=\"informations\">633×800 139 KB</span><svg class=\"fa d-icon d-icon-discourse-expand svg-icon\" aria-hidden=\"true\"><use xlink:href=\"#discourse-expand\"></use></svg></div></a></div></p>",

TheEngineer · 15 مايو 2020، 11:28ص

أعتقد أنني أصلحت المشكلة. لاحظت أنني لا أستطيع تشغيل نسخة احتياطية، وفي النهاية اكتشفت أن اسم دلو النسخ الاحتياطي مكتوب بشكل خاطئ في ملف app.yml. كان دلو التحميل صحيحًا. أصلحت الإملاء وعادت النسخ الاحتياطية للعمل. جربت ذلك للتسلية وقد نجح.

أقوم الآن بإعادة معالجة المنشورات.

helmi · 19 ديسمبر 2020، 9:58م

أرى نفس المشكلة مع عدد منخفض نسبيًا من 17 منشورًا من أصل 49595 تسبب في إيقاف إعادة الطهي.

49595 posts were flagged for a rebake
rake aborted!
FileStore::ToS3MigrationError: 17 posts are not remapped to new S3 upload URL. S3 migration failed for db 'default'.
/var/www/discourse/lib/file_store/to_s3_migration.rb:131:in `raise_or_log'
/var/www/discourse/lib/file_store/to_s3_migration.rb:86:in `migration_successful?'
/var/www/discourse/lib/file_store/to_s3_migration.rb:357:in `migrate_to_s3'
/var/www/discourse/lib/file_store/to_s3_migration.rb:65:in `migrate'
/var/www/discourse/lib/tasks/uploads.rake:245:in `migrate_to_s3'
/var/www/discourse/lib/tasks/uploads.rake:224:in `block in migrate_to_s3_all_sites'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:76:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:86:in `each_connection'
/var/www/discourse/lib/tasks/uploads.rake:222:in `migrate_to_s3_all_sites'
/var/www/discourse/lib/tasks/uploads.rake:218:in `block in <main>'
/usr/local/bin/bundle:23:in `load'
/usr/local/bin/bundle:23:in `<main>'
Tasks: TOP => uploads:migrate_to_s3
(See full trace by running task with --trace)

لست متأكدًا مما يجب أن أبحث عنه في مخرجات أمر rails أعلاه @gerhard - هل لديك بعض التلميحات لي؟

gerhard:

أقترح عليك معرفة سبب عدم إعادة تعيين هذه المسارات بشكل صحيح. جرّب تشغيل ما يلي في وحدة تحكم rails لعرض حقل cooked لتلك المنشورات. قد يكون هناك في مكان ما في ذلك دليل…
current_db = RailsMultisite::ConnectionManagement.current_db
cdn_path = SiteSetting.cdn_path("/uploads/#{current_db}/original").sub(/https?:/, "")
Post.where("cooked LIKE '%#{cdn_path}%'").pluck(:cooked)

markersocial · 27 يناير 2021، 10:04م

أحصل على نفس الخطأ بسبب 3 منشورات

جاري تحديث عناوين URL في قاعدة البيانات...
تحذير: لم يتم تعريف تحويل نوع (type cast) للنوع "name" بمعرف OID 19. يرجى تحويل هذا النوع صراحةً إلى TEXT لضمان الأمان أمام التغييرات المستقبلية.
جاري إزالة الصور المحسّنة القديمة...
جاري وضع علامة على جميع المنشورات التي تحتوي على صناديق خفيفة (lightboxes) لإعادة معالجتها...
تم وضع علامة على 123456 منشور لإعادة المعالجة
تعطلت مهمة Rake!
FileStore::ToS3MigrationError: لم يتم إعادة تعيين 3 منشورات إلى عنوان URL الجديد لرفع S3. فشل الترحيل إلى S3 لقاعدة البيانات 'default'.
/var/www/discourse/lib/file_store/to_s3_migration.rb:131:in `raise_or_log'
/var/www/discourse/lib/file_store/to_s3_migration.rb:86:in `migration_successful?'
/var/www/discourse/lib/file_store/to_s3_migration.rb:357:in `migrate_to_s3'
/var/www/discourse/lib/file_store/to_s3_migration.rb:65:in `migrate'
/var/www/discourse/lib/tasks/uploads.rake:245:in `migrate_to_s3'
/var/www/discourse/lib/tasks/uploads.rake:224:in `block in migrate_to_s3_all_sites'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:76:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:86:in `each_connection'
/var/www/discourse/lib/tasks/uploads.rake:222:in `migrate_to_s3_all_sites'
/var/www/discourse/lib/tasks/uploads.rake:218:in `block in <main>'
/usr/local/bin/bundle:23:in `load'
/usr/local/bin/bundle:23:in `<main>'
المهام: TOP => uploads:migrate_to_s3
(انظر التتبع الكامل بتشغيل المهمة مع --trace)

@gerhard - إذا حصلنا على خطأ مثل هذا، هل تعلم ما إذا كان المعنى هو “نجاح! - باستثناء 3 منشورات” أم “فشل كبير في الترحيل بسبب 3 منشورات”؟

لمحاولة الاستئناف، هل يجب أن أشغّل rake posts:rebake، أو rake posts:rebake_uncooked_posts، أو rake uploads:migrate_to_s3 مرة أخرى؟

سأقدّر أي مساعدة

markersocial · 28 يناير 2021، 11:25ص

gerhard:

أقترح عليك معرفة سبب عدم إعادة تعيين هذه المسارات بشكل صحيح. جرّب تشغيل الأمر التالي في وحدة تحكم Rails للتحقق من حقل cooked لتلك المنشورات. قد تجد دليلاً ما بين هذه البيانات…
current_db = RailsMultisite::ConnectionManagement.current_db
cdn_path = SiteSetting.cdn_path("/uploads/#{current_db}/original").sub(/https?:/, "")
Post.where("cooked LIKE '%#{cdn_path}%'").pluck(:cooked)

من خلال تشغيل هذا الأمر، لا أستطيع القول إنني أرى أي شيء مشترك بينها جميعًا. الشيء الوحيد المشترك بينها هو أنها جميعًا داخل وسوم <p>، إذا كان لهذا أي معنى.

كان هناك شيء غريب في أحد المنشورات يحتوي على رابط لإيموجي من المنتدى. على سبيل المثال:
https://www.example.com/images/emoji/twitter/slight_smile.png?v=9

أثناء تشغيل الأمر rake posts:rebake_uncooked_posts يدويًا بعد خطأ الترحيل المذكور في منشوري السابق (غير متأكد مما إذا كان إعادة التحضير هو الإجراء الصحيح)، ظهر هذا الخطأ:

Failed to report error: "\x8B" from ASCII-8BIT to UTF-8 3 Job exception: 403 Error:

مع ظهور نص غير مقروء تحته. لا يزال الأمر قيد التشغيل حتى الآن.

markersocial · 30 يناير 2021، 12:02م

@gerhard هل لديك أي فكرة حول كيفية حل مشكلة ظهور جميع الصور الرمزية المخصصة كصور افتراضية بعد الترحيل إلى S3؟

كل شيء آخر يعمل بشكل رائع على S3: صور المنشورات، وبطاقات المستخدمين، وصور الخلفية للمستخدمين. لكن الصور الرمزية فقط لا تظهر. يبدو أن الصور الرمزية الأصلية تم ترحيلها، حيث يمكن رؤيتها في قاعدة البيانات وتوجد الملفات على S3، لذا يبدو أن المشكلة تتعلق فقط بالصور المحسّنة. أرى أن العديد من الأشخاص واجهوا هذه المشكلة، لكنني لم أتمكن من العثور على حل بعد.

تحديث/تعديل:

لذا سأقوم بالمخاطرة هنا وأكمل الترحيل دون أن تعمل الصور الرمزية. سيتم تحميل الصور الرمزية الجديدة إلى S3، لكنها لن تظهر أيضًا

آمل أن يمكن تصحيح ذلك لاحقًا في وقت ما.

عند النظر في /logs، أرى بعض السجلات مثل هذا لعناوين الصور الرمزية:

Could not find file in the store located at url: //bucketname.s3.fr-par.scw.cloud/original/2X/d/123456.JPG

الملف موجود بالفعل إذا قمت بزيارة الرابط، ويبدو مسار الملف صحيحًا. لدي مثيل آخر بنفس الإعدادات (الفرق الوحيد هو اسم الدلو)، وتعمل الصور الرمزية بشكل ممتاز هناك. المسار بنفس التنسيق تمامًا في المثيل الآخر أيضًا (من خلال البحث عن التحميلات في Rails).

آمل أن تكون هذه معلومة تشير إلى ما يحدث.

evenif · 1 فبراير 2021، 12:46ص

شغّلت هجرة يدوية إلى S3 وحصلت على نفس النتيجة، لكنني وجدت مجلّد tombstone في مستودع S3. هل هذا طبيعي @gerhard؟

لماذا لم تُعاد تعيين هذه المسارات بشكل صحيح:

> current_db = RailsMultisite::ConnectionManagement.current_db
=> "default"
> cdn_path = SiteSetting.cdn_path("/uploads/#{current_db}/original").sub(/https?:/, "")
=> "/uploads/default/original"
> Post.where("cooked LIKE '%#{cdn_path}%'").pluck(:cooked)
=> []

> جاري تحديث الروابط في قاعدة البيانات...
> تحذير: لا يوجد تحويل نوع مُعرّف للنوع "name" بمعرف oid 19. يُرجى تحويل هذا النوع صراحةً إلى TEXT لضمان الأمان في التغييرات المستقبلية.
> جاري إزالة الصور المُحسّنة القديمة...
> جاري وضع علامة على جميع المنشورات التي تحتوي على صناديق خفيفة لإعادة الخبز...
> تم وضع علامة على 10855 منشورًا لإعادة الخبز
> rake aborted!
> FileStore::ToS3MigrationError: 1889 من أصل 6492 من التحميلات لم تُهجّر إلى S3. فشلت هجرة S3 لقاعدة البيانات 'default'.
> /var/www/discourse/lib/file_store/to_s3_migration.rb:131:in `raise_or_log'
> /var/www/discourse/lib/file_store/to_s3_migration.rb:78:in `migration_successful?'
> /var/www/discourse/lib/file_store/to_s3_migration.rb:357:in `migrate_to_s3'
> /var/www/discourse/lib/file_store/to_s3_migration.rb:65:in `migrate'
> /var/www/discourse/lib/tasks/uploads.rake:123:in `migrate_to_s3'
> /var/www/discourse/lib/tasks/uploads.rake:102:in `block in migrate_to_s3_all_sites'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:76:in `with_connection'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rails_multisite-2.5.0/lib/rails_multisite/connection_management.rb:86:in `each_connection'
> /var/www/discourse/lib/tasks/uploads.rake:100:in `migrate_to_s3_all_sites'
> /var/www/discourse/lib/tasks/uploads.rake:96:in `block in <main>'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/task.rb:281:in `block in execute'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/task.rb:281:in `each'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/task.rb:281:in `execute'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/task.rb:219:in `block in invoke_with_call_chain'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/task.rb:199:in `synchronize'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/task.rb:199:in `invoke_with_call_chain'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/task.rb:188:in `invoke'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:160:in `invoke_task'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:116:in `block (2 levels) in top_level'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:116:in `each'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:116:in `block in top_level'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:125:in `run_with_threads'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:110:in `top_level'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:83:in `block in run'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:186:in `standard_exception_handling'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/lib/rake/application.rb:80:in `run'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.3/exe/rake:27:in `<top (required)>'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/bin/rake:23:in `load'
> /var/www/discourse/vendor/bundle/ruby/2.7.0/bin/rake:23:in `<top (required)>'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/cli/exec.rb:63:in `load'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/cli/exec.rb:63:in `kernel_load'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/cli/exec.rb:28:in `run'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/cli.rb:494:in `exec'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/vendor/thor/lib/thor/command.rb:27:in `run'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/vendor/thor/lib/thor/invocation.rb:127:in `invoke_command'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/vendor/thor/lib/thor.rb:392:in `dispatch'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/cli.rb:30:in `dispatch'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/vendor/thor/lib/thor/base.rb:485:in `start'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/cli.rb:24:in `start'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/exe/bundle:49:in `block in <top (required)>'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/lib/bundler/friendly_errors.rb:130:in `with_friendly_errors'
> /usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.7/exe/bundle:37:in `<top (required)>'
> /usr/local/bin/bundle:23:in `load'
> /usr/local/bin/bundle:23:in `<main>'
> Tasks: TOP => uploads:migrate_to_s3

markersocial · 1 فبراير 2021، 8:18ص

تعديل: يبدو أن الخطأ الخاص بك مختلف عن خطئي، ويبدو أن بعض الصور لم يتم نقلها إلى S3. آسف، لقد قرأت بشكل خاطئ. ربما تكون بعض المعلومات أدناه لا تزال مفيدة. هل قمت بإعداد عمليات التحميل على S3 من خلال هذا الدليل؟ Configure an S3 compatible object storage provider for uploads

@evenif - آسف لسماع أنك تواجه مشاكل في هذا الشأن. كنت أخطط لكتابة دليل لهذا الغرض للأشخاص الذين يواجهون نفس المشاكل، حيث تطلبت كمية كبيرة من المعلومات تجميعها من مواضيع مختلفة. لكنني أنتظر على أمل إصلاح الصور الرمزية، كما يمكنك رؤية أعلاه، لا تزال لدي مشاكل في ذلك.

إذا قمت بتشغيل هذا في Rails، هل تحصل على true أم false؟

SiteSetting.migrate_to_new_scheme

إذا كانت النتيجة false، يمكنك محاولة تعيينها إلى true كما يلي:

SiteSetting.migrate_to_new_scheme = true

ثم إما انتظر قليلاً وعد لاحقًا (أعتقد أن هذا يعمل كل 15 دقيقة حسب ذاكرتي)، ولكن إذا كنت تريد تشغيله فورًا:

Jobs::MigrateUploadScheme.new.execute(nil)

ثم تحقق مرة أخرى لاحقًا إذا كانت SiteSetting.migrate_to_new_scheme الآن false (مما يعني أنه يجب أن يكون قد اكتمل).

ثم قم بتشغيل:
Upload.by_users.where("url NOT LIKE '//%' AND url NOT LIKE '/uploads/default/original/_X/%'").to_a

يجب أن يجد هذا التحميلات التي لا تزال بها مشاكل ولم يتم نقلها. في حالتي، كانت جميع هذه التحميلات موجودة كسجلات في قاعدة البيانات، لكن الصور الفعلية لم تكن موجودة.

اعتمادًا على حجم القائمة، يمكنك نسخ الصفحة ثم استخدام البحث والاستبدال لإنشاء قائمة بالأوامر لحذف هذه السجلات المشكلة عبر قائمة معرفات التحميل.

Upload.find(1).destroy
Upload.find(2).destroy
Upload.find(3).destroy

مع استبدال معرفات التحميل بالأرقام 1، 2، 3، إلخ. انسخ والصق القائمة كاملة في Rails واضغط على Enter. يجب أن يحذف هذا السجلات المشكلة.

ثم، اخرج من Rails (اكتب exit) وكل ما تحتاج إلى فعله هو تشغيل:

rake posts:rebake
أو
rake posts:rebake_uncooked_posts

يسمح لك uncooked بإعادة بدء عملية إعادة الطهي إذا فشلت. أنصحك باستخدام إعادة الطهي العادية إلا إذا كان لديك عدد هائل من التحميلات.

بعد ذلك، يجب أن يعمل كل شيء بشكل صحيح، على أمل. لكن هناك فرصة جيدة أن تكون الصور الرمزية المحسنة لديك معطلة مثل الصور الرمزية الخاصة بي، لكن النسخ الأصلية يجب أن تكون موجودة على S3.

يمكنك التحقق من نجاح نقل الصور الرمزية (أو على الأقل لبعض المستخدمين) بتشغيل هذا في Rails لمستخدم يعرض صورة رمزية افتراضية:
User.find_by_username('username').uploaded_avatar

يمكنك أيضًا التحقق من وجود النسخ المحسنة باستخدام هذا:
OptimizedImage.where(upload_id: upload_id).where(version: 2)

evenif · 1 فبراير 2021، 8:46ص

@markersocial شكرًا لك على مساعدتك. أعتقد أن مشكلتي سببها أنني استخدمت خدمة S3 سابقًا (منذ عام 2005)، ثم التخزين المحلي، ثم عدت لاستخدام تخزين S3 مرة أخرى. الآن، عند محاولة رفع صور محلية إلى S3، واجهت الكثير من المتاعب. إن سلة S3 الخاصة بي لا تحتوي على /uploads/default.

بعد تنفيذ أمر uploads:migrate_to_s3، اكتشفت أن بعض الصور مثل /images/transparent.png تالفة. وعند استخدام الأمر rake uploads:recover_from_tombstone:

حصلت على الرسالة التالية:

تحذير: الرابط /t/topic/6216/4 يحتوي على قيمة غير صحيحة 338c64ada8cbb0fb99bff79e833a4cc492ead00c بينما يجب أن تكون c95e4b7c08702db4593332f29b40ca07fb1d9db1. يمكن للأمر ‘rake uploads:fix_relative_upload_links’ تخزين القيمة الصحيحة في الحقل المخصص.

ثم توقف الأمر rake مع الرسالة التالية:

rake uploads:fix_relative_upload_links --trace
** استدعاء uploads:fix_relative_upload_links (لأول مرة)
** استدعاء environment (لأول مرة)
** تنفيذ environment
** تنفيذ uploads:fix_relative_upload_links
** لم يتم العثور على الملف /uploads/files/general/111/cours-offerts.pdf في المنشور 23033 - /t/certificate-technique-de-soudage-college-mathieu/11060/1**

أنا الآن مرتبك.

markersocial · 1 فبراير 2021، 9:00ص

آه هذه المشكلة تتجاوز فهمي، آمل أن تتمكن من إيجاد حل لها أو أن يتدخل شخص أكثر معرفة.

بخصوص عدم وجود /uploads/default في سلة التخزين الخاصة بك، أعتقد أن هذا أمر طبيعي ولا ينبغي أن يكون هو المشكلة. الأمر نفسه ينطبق على سلات التخزين الخاصة بي (على كل من المثيلات التي تم نقلها إلى s3 والمثيلات التي استخدمت s3 منذ اليوم الأول). يمكنك التحقق من مسار الصورة المضمنة في هذا الموضوع وستلاحظ أن المسار لا يحتوي أيضًا على /uploads/default.

Bathinda · 23 مايو 2021، 11:38ص

أنا أيضًا أعاني من نفس المشكلة بالضبط.

هل عثرتِ بالصدفة على أي طريقة على الأقل!!!؟؟؟

إذا لم يكن الأمر كذلك، أرجو منكِ، إذا عثرتِ على أي طريقة، أن تشاركيها معي. سأكون ممتنًا للغاية.

ipoopfool · 13 يوليو 2021، 12:18ص

واجهتُ مشكلةً مماثلة، ربما بسبب الانتقال من AWS S3 إلى التخزين المحلي ثم إلى DO Spaces. انتهى بي الأمر بكتابة كود Ruby لاستبدال روابط التحميل القديمة التالفة يدويًا بصيغة الرابط المحدثة العاملة، ويبدو أن هذا قد حل مشكلتي.

في حالتي، تم نقل جميع الملفات بنجاح إلى DO Spaces خلال عملية الهجرة الأولى، لكن migrate_to_s3 سجّلها كفشل. لم يتسبب ذلك في تعطيل المرفقات في البداية، لكن إعادة المعالجة (rebake) أدت إلى تعطلها. مزيد من التفاصيل في الموضوع المرتبط.

Zup · 17 أكتوبر 2021، 9:56م

أنا أيضًا أواجه هذه الخطأ بعد استيراد قاعدة بيانات smf2، وتفعيل S3، وتشغيل rake --trace uploads:migrate_to_s3

جارٍ نقل الملفات إلى S3 للنطاق 'default'...
جارٍ رفع الملفات إلى S3...
 - سرد الملفات المحلية
.. => 2244 ملف
 - سرد ملفات S3
... => 2383 ملف
 - مزامنة الملفات مع S3
....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
جارٍ تحديث الروابط في قاعدة البيانات...
جارٍ إزالة الصور المحسّنة القديمة...
جارٍ تحديد جميع المشاركات التي تحتوي على lightboxes لإعادة المعالجة...
تم تحديد 454 مشاركة لإعادة المعالجة
rake aborted!
FileStore::ToS3MigrationError: 7165 من أصل 9554 ملفًا لم يتم نقلها إلى S3. فشل نقل S3 لقاعدة البيانات 'default'.
/var/www/discourse/lib/file_store/to_s3_migration.rb:132:in `raise_or_log'
/var/www/discourse/lib/file_store/to_s3_migration.rb:79:in `migration_successful?'
/var/www/discourse/lib/file_store/to_s3_migration.rb:373:in `migrate_to_s3'
/var/www/discourse/lib/file_store/to_s3_migration.rb:66:in `migrate'
/var/www/discourse/lib/tasks/uploads.rake:123:in `migrate_to_s3'
/var/www/discourse/lib/tasks/uploads.rake:102:in `block in migrate_to_s3_all_sites'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rails_multisite-3.1.0/lib/rails_multisite/connection_management.rb:80:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rails_multisite-3.1.0/lib/rails_multisite/connection_management.rb:90:in `each_connection'
/var/www/discourse/lib/tasks/uploads.rake:100:in `migrate_to_s3_all_sites'
/var/www/discourse/lib/tasks/uploads.rake:96:in `block in <main>'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:281:in `block in execute'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:281:in `each'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:281:in `execute'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:219:in `block in invoke_with_call_chain'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:199:in `synchronize'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:199:in `invoke_with_call_chain'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/task.rb:188:in `invoke'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:160:in `invoke_task'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:116:in `block (2 levels) in top_level'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:116:in `each'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:116:in `block in top_level'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:125:in `run_with_threads'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:110:in `top_level'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:83:in `block in run'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:186:in `standard_exception_handling'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rake-13.0.6/lib/rake/application.rb:80:in `run'
bin/rake:13:in `<top (required)>'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/cli/exec.rb:58:in `load'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/cli/exec.rb:58:in `kernel_load'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/cli/exec.rb:23:in `run'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/cli.rb:477:in `exec'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/vendor/thor/lib/thor/command.rb:27:in `run'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/vendor/thor/lib/thor/invocation.rb:127:in `invoke_command'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/vendor/thor/lib/thor.rb:392:in `dispatch'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/cli.rb:31:in `dispatch'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/vendor/thor/lib/thor/base.rb:485:in `start'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/cli.rb:25:in `start'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/exe/bundle:49:in `block in <top (required)>'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/lib/bundler/friendly_errors.rb:128:in `with_friendly_errors'
/usr/local/lib/ruby/gems/2.7.0/gems/bundler-2.2.26/exe/bundle:37:in `<top (required)>'
/usr/local/bin/bundle:23:in `load'
/usr/local/bin/bundle:23:in `<main>'
Tasks: TOP => uploads:migrate_to_s3

markersocial، عندما أقوم بتشغيل Upload.by_users.where("url NOT LIKE '//%' AND url NOT LIKE '/uploads/default/original/_X/%'").to_a فإن المخرجات هي []

أفترض أن هذا يعني أن مشكلتي مختلفة عن مشكلتك؟

ipoopfool، أعتقد أنني قد أواجه نفس المشكلة التي واجهتها. هل تمانع في مشاركة كود Ruby الذي أصلح المشكلة بالنسبة لك؟

Zup · 18 أكتوبر 2021، 2:44ص

شكرًا لك.

عند تشغيل السكربت، أحصل على هذا الخطأ:

NameError: undefined local variable or method `upload_regex' for main:Object
from /var/www/discourse/script/discourse-fix-old-broken-uploads.rb:30:in `update_post_upload_links'

هل لديك أي اقتراحات؟

ipoopfool · 10 سبتمبر 2022، 11:19م

آسف على إحياء الموضوع، سأقوم بإزالة الرابط الذي شاركته سابقًا، لذلك فكرت في نسخ ولصق الكود مباشرة هنا

تم كسر التحميلات للمشاركات من قبل سبتمبر 2020 بعد الترحيل إلى مخازن الكائنات وإعادة الخبز. يبدو أن التحميلات جيدة، ولكن عناوين URL في النص الخام كانت مهيأة بشكل غير صحيح، لذلك أقوم بإصلاحها يدويًا.

# ملاحظة: لا يبدو أن إجراء تحديث بهذه الطريقة يضيف سجل مراجعة للمشاركات. قم بعمل نسخة احتياطية يدوية لقاعدة البيانات قبل التشغيل كإجراء احترازي.

# https://rubular.com/
# مجموعات الالتقاط: /uploads/..., اسم ملف sha1
upload_regex = /(\/uploads\/[\/\\w]+\/)([0-9a-f]+)\.\w+/

def to_short_name(sha1)
  # يتطلب التشغيل في وحدة تحكم Discourse Rails
  Upload.base62_sha1(sha1)
end

# فحص للتأكد من سلامة البيانات. يمكنك المرور عبر جميع المشاركات واستخراج عدد مرات ظهور /uploads/.
# ثم قم بتشغيل مطابقة التعبير العادي لمعرفة ما إذا كان عدد التطابقات يساويه.
def count_num_broken_upload_links(posts)
  num_string_match = 0
  num_regex_match = 0

  posts.each do |post|
    num_string_match += post.raw.count("(/uploads/") # هذا معطل. العد يعمل فقط للأحرف.
    num_regex_match += post.raw.scan(upload_regex).count
  end

  puts "فحص سلامة عدد مرات ظهور روابط التحميل القديمة"
  puts "مطابقات السلسلة البسيطة " + num_string_match
  puts "مطابقات التعبير العادي " + num_regex_match
end

def update_post_upload_links(post)
  matches = post.raw.scan(upload_regex)
  fixed_raw = matches.reduce(post.raw) do |accumulator, match|
    prefix = match[0]
    sha1 = match[1]
    # استبدال، وليس استبدال الكل، لذلك نستبدل كل مرفق بالتتابع واحدًا تلو الآخر
    accumulator.sub(prefix, "upload://").sub(sha1, to_short_name(sha1))
  end

  if post.raw != fixed_raw
    # يبدو أن تحديث post.raw يؤدي أيضًا إلى إعادة الخبز. لكنني ما زلت أرغب في إجراء خبز كامل لاحقًا كإجراء احترازي.
    post.update(raw: fixed_raw)
  end

  puts "تم تحديث المشاركة بالمعرف #{post.id}"
end

# المشكلة التي أقوم بإصلاحها تحدث حتى نهاية 2020-9-5، لكنني سأضيف بضعة أيام إضافية كإجراء احترازي.
posts = Post.where("created_at < ?", Date.new(2020,9,7))

posts.each { |post| update_post_upload_links(post) }

وعلق شخص آخر

في السيناريو الخاص بي، تحتاج المتغير upload_regex إلى أن يكون عامًا، وليس محليًا. لذا، يجب تغيير upload_regex إلى $upload_regex.

الموضوع		الردود	مرات العرض
Migrate_from_s3 problems Bug	19	3313	17 يناير 2021
1 of 16551 uploads are not migrated to S3. S3 migration failed for db 'default' Self-hosting s3 , cdn	22	1801	10 أغسطس 2023
Stop using Amazon s3 for uploads Support	52	5032	22 أغسطس 2021
Rake uploads:migrate_from_s3 fails Self-hosting s3	31	3070	24 أبريل 2021
Migrate_to_s3 fails Self-hosting s3	26	1989	22 فبراير 2022

فشل الانتقال إلى S3 أثناء إعادة التحضير

الموضوعات ذات الصلة