لا يمكن تنزيل ملفات الوسائط غير الصور، وفُقدت أسماء الملفات الأصلية عند رفعها إلى S3

md-misko · 26 مايو 2020، 5:00م

يتم تنزيل ملفات الوسائط غير المرئية المخزنة محليًا أو التي تم نقلها إلى S3 باستخدام rake uploads:migrate_to_s3 بأسماء الملفات الأصلية عند النقر على رابط التحميل، بينما تفتح ملفات الوسائط غير المرئية المرفوعة مباشرةً إلى S3 في علامة تبويب جديدة ويُفقد اسم الملف الأصلي.

يُعدّل أمر rake uploads:migrate_to_s3 خاصية content_disposition لجميع التحميلات غير المرئية

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

666823d4b


      
          end
          
          options = {
            acl: "public-read",
            body: File.open(path, "rb"),
            bucket: bucket,
            content_type: MiniMime.lookup_by_filename(name)&.content_type,
            key: key,
          }
          
          if !FileHelper.is_supported_image?(name)
            upload = Upload.find_by(url: "/#{file}")
          
            if upload&.original_filename
              options[:content_disposition] =
                %Q{attachment; filename="#{upload.original_filename}"}
            end
          
            if upload&.secure
              options[:acl] = "private"
            end

بينما يُعدّل الرفع إلى S3 خاصية content_disposition لجميع التحميلات غير الوسائط فقط

github.com/discourse/discourse

lib/file_store/s3_store.rb

d9a02d133


      
          
            filename = opts[:filename].presence || File.basename(path)
            # cache file locally when needed
            cache_file(file, File.basename(path)) if opts[:cache_locally]
            options = {
              acl: opts[:private_acl] ? "private" : "public-read",
              cache_control: 'max-age=31556952, public, immutable',
              content_type: opts[:content_type].presence || MiniMime.lookup_by_filename(filename)&.content_type
            }
            # add a "content disposition" header for "attachments"
            options[:content_disposition] = "attachment; filename=\"#{filename}\"" unless FileHelper.is_supported_media?(filename)
          
            path.prepend(File.join(upload_path, "/")) if Rails.configuration.multisite
          
            # if this fails, it will throw an exception
            path, etag = @s3_helper.upload(file, path, options)
          
            # return the upload url and etag
            [File.join(absolute_base_url, path), etag]
          end

الحل هو استبدال is_supported_media بـ is_supported_image (تم اختباره ويعمل كما هو متوقع).

codinghorror · 28 مايو 2020، 2:02ص

هل نحتاج إلى هذا الإصلاح @sam؟

sam · 28 مايو 2020، 2:24ص

ربما @martin، ما رأيك؟ هل هذا التغيير صحيح؟

martin · 28 مايو 2020، 3:03ص

أعتقد أن هذا الإصلاح يبدو صحيحًا — دعني أجربه محليًا على التغييرات المقترحة، وإذا بدا جيدًا سأقدم طلب سحب (PR).

martin · 28 مايو 2020، 3:16ص

عند النظر إلى هذا مرة أخرى، أعتقد أن الحل هو العكس تمامًا — يجب أن تكون المهمة uploads:migrate_to_s3 مشروطة بـ if !FileHelper.is_supported_media?(name). لا معنى لوضع رأس content-disposition: attachment; filename=X على مقاطع الفيديو والصوت. فأنت تقوم ببث هذه الملفات داخل منشور في Discourse، وليس بتنزيلها؟

إذن ما نريده هو:

بدون رأس content-disposition attachment

الصور
مقاطع الفيديو
الصوت

مع رأس content-disposition attachment مع اسم الملف الأصلي

جميع المرفقات/التحميلات الأخرى (PDF، TXT، CSV، إلخ)

إذا كنت أغفل شيئًا هنا، فلا تتردد في إضافة مزيد من المعلومات أو الأمثلة.

md-misko · 28 مايو 2020، 8:43ص

صدّقني، لقد قضيت أيامًا في فهم هذا الأمر، وكان غريبًا بالنسبة لي أيضًا، لكن تعيين content-disposition: attachment; filename=X لجميع ملفات الوسائط ما عدا الصور يحاكي بشكل مثالي الطريقة التي تُقدَّم بها ملفات الوسائط حاليًا من التخزين المحلي.

باختصار، لا! يمكنني بثها باستخدام “oneboxing” إذا لزم الأمر، لكن رابط التنزيل المباشر [media_file](path_to_media_file)—حيث يكون المسار إما محليًا أو على S3—يجب أن ينزّل الملف باستخدام اسمه الأصلي تمامًا كما يحدث في التخزين المحلي (وللملفات التي تم نقلها إلى S3).

لكن هذا لم يعد ممكنًا فجأة عند الرفع المباشر إلى S3: رابط [media_file](S3_path_to_media_file) يقوم ببث ملف الوسائط في تبويب جديد (وهو أمر غير مطلوب، لأن هذا ما يفعله “oneboxing”)، وعند محاولة تنزيله من عناصر تحكم مشغل الوسائط يفقد أيضًا اسمه الأصلي.

أتوقع أن الملفات المستضافة محليًا وعلى S3 يجب أن تتصرف بنفس الطريقة، أليس كذلك؟ مع اقتراحك، ستعكس الوظيفة تمامًا للuploads المستضافة على S3، ليس فقط للuploads الجديدة بل للمنتقلة أيضًا.

إليك ملف حالة مفصل، ولماذا أعتقد أن اقتراحي صحيح (أي أنه يحافظ على نفس الوظيفة للuploads المستضافة محليًا وعلى S3):

الملفات المستضافة محليًا

لدي مستودع كبير (أكثر من 5 آلاف) من ملفات الصوت (الكلام) تتراوح بين 1-10 ميجابايت، بإجمالي يقارب 40 جيجابايت، وهي مستضافة حاليًا على التخزين المحلي ويتم نقلها الآن إلى S3 (وهذا عن قصد، لا أريد استضافتها على خدمة طرف ثالث). هذا يعمل بشكل جيد بالفعل من منظور الأداء، لكن الآن أصبح من المنطقي الانتقال إلى S3 بسبب ارتفاع تكاليف التخزين وإمكانية استخدام CDN مع S3.

هذه الملفات مُحسَّنة من حيث الحجم ولا يُقصد بها البث، بل التنزيل والاستماع إليها محليًا (للعملاء الذين لديهم نطاق ترددي محدود/اتصال ضعيف). تُحمَّل الملفات دفعة واحدة ثم تُستشهد بها في المنشور الخام باستخدام روابط مُولَّدة من قيم SHA1 الخاصة بها باستخدام: [dl_link](https://discourse.forum.tld/uploads/default/original/3X/0/1/0123..sha1.mp3) ويمكن تنزيلها باستخدام اسمها الأصلي عن طريق النقر على رابط مباشر إلى الملف (انظر المثال هنا).

إذا، من ناحية أخرى، تم تضمين هذه الروابط تلقائيًا (oneboxing)، فيمكن بثها مباشرة من خادم Discourse (وأيضًا تنزيلها من عناصر تحكم المشغل، مرة أخرى بالاسم الأصلي).

الملفات التي تم نقلها إلى S3

عند نقل الuploads من التخزين المحلي إلى S3 باستخدام أمر uploads:migrate_to_s3 يحدث أمران:

يتم تعيين content-disposition: attachment; filename=X لجميع الuploads ما عدا الصور
يتم استبدال الروابط المحلية المباشرة [dl_link](https://discourse.forum.tld/uploads/default/original/3X/0/1/0123..sha1.mp3) في المنشورات الخام بروابط S3 [dl_link](https://cdn_url/uploads/original/3X/0/1/0123..sha1.mp3)

هذا يحاكي الuploads المستضافة محليًا بكل طريقة (روابط التنزيل مع الأسماء الأصلية وكذلك التضمين التلقائي).

الملفات المرفوعة حديثًا إلى S3

لا يتم تعيين content-disposition: attachment; filename=X لجميع ملفات الوسائط
تُستشهد بالملفات المرفوعة حديثًا باستخدام رابط قصير في النص الخام، لكن الروابط المطبوخة لا تزال تشير مباشرة إلى https://cdn_url/uploads/original/3X/0/1/0123..sha1.mp3
النقر على رابط URL القصير أو رابط S3 المُدخل يدويًا [dl_link](https://cdn_url/uploads/original/3X/0/1/0123..sha1.mp3) يفتح الملف في تبويب جديد بدلاً من تنزيله.

بسبب عدم تعيين content-disposition، يختلف هذا الآن عن الطريقة التي تُقدَّم بها ملفات الوسائط من التخزين المحلي (لا يزال التضمين التلقائي يعمل، لكن روابط التنزيل مع الأسماء الأصلية لم تعد متاحة).

إذا كنت بحاجة إلى أي معلومات إضافية، فالرجاء إخباري.

martin · 29 مايو 2020، 4:28ص

هذا رائع، شكرًا لك على توفير كل هذا السياق الإضافي. سأقوم بتجربة ذلك وسأسعى لرفع طلب سحب (PR) الأسبوع المقبل.

md-misko · 15 يونيو 2020، 4:09م

هل هناك أي فرصة لأن يُدرج هذا في الإصدار النهائي 2.5 الذي من المفترض أن يصدر قريبًا؟

martin · 15 يونيو 2020، 11:10م

بصراحة، لم أبحث في هذا الأمر بشكل أعمق بسبب أعمال أخرى ملحة. وقد خصصت بعض الوقت في جدول مواعيدي الآن للنظر في هذا الأمر بشكل صحيح هذا الأسبوع. يبدو التغيير بسيطًا، لذا لا ينبغي أن يستغرق وقتًا طويلاً. سأقوم بالإبلاغ مرة أخرى بمجرد الانتهاء من طلب السحب.

martin · 17 يونيو 2020، 12:55ص

@md-misko لقد أكدت سيناريو الاستخدام الخاص بك، وبعد إصلاح محتوى الترتيب (content-disposition)، ما زلت قادرًا على بث الصوت والفيديو بشكل صحيح. يتم الآن بناء الإصلاح، ومن المتوقع دمجه بحلول نهاية اليوم:

github.com/discourse/discourse

FIX: Add attachment content-disposition for all non-image files (#10058)

master ← issue/add-attachment-content-disposition-for-all-non-image-uploads

merged 01:16AM - 17 Jun 20 UTC

martin-brennan

+60 -4

This will make it so the original filename is used when downloading all non-imag…e files, bringing S3Store into line with the to_s3 migration and local storage. Video and audio files will still stream correctly in HTML players as well. See https://meta.discourse.org/t/cannot-download-non-image-media-files-original-filenames-lost-when-uploaded-to-s3/152797 for a lot of extra context.

شكرًا لك على الصبر!

martin · 20 يونيو 2020، 8:00ص

تم إغلاق هذا الموضوع تلقائيًا بعد 3 أيام. لم يعد مسموحًا بإضافة ردود جديدة.

الموضوع		الردود	مرات العرض
A bug when files were migrated to S3 Bug s3	0	47	13 يناير 2025
Download links for .txt (and .yaml) attachments show raw text instead of dowload Support	1	29	10 أبريل 2026
Broken pipe error when uploading to a S3 clone, a pdf with a name containing é,ï etc Bug	4	1126	26 يونيو 2020
Attachment filename not set on download Support unsupported-install	5	2592	24 فبراير 2017
Broken Images and Their S3 URLs Support	33	4609	30 سبتمبر 2020

لا يمكن تنزيل ملفات الوسائط غير الصور، وفُقدت أسماء الملفات الأصلية عند رفعها إلى S3

الملفات المستضافة محليًا

الملفات التي تم نقلها إلى S3

الملفات المرفوعة حديثًا إلى S3

الموضوعات ذات الصلة