Не удается загрузить файлы медиа, отличные от изображений; оригинальные имена файлов теряются при загрузке в S3

md-misko · 26.Май.2020 17:00:48

Файлы мультимедиа (кроме изображений), хранящиеся в локальном хранилище или перенесенные в S3 с помощью rake uploads:migrate_to_s3, скачиваются с оригинальными именами файлов при клике на ссылку загрузки, тогда как файлы мультимедиа (кроме изображений), загруженные напрямую в S3, открываются в новой вкладке, и оригинальное имя файла теряется.

Команда rake uploads:migrate_to_s3 устанавливает content_disposition для всех неизображений.

github.com/discourse/discourse

lib/file_store/to_s3_migration.rb

666823d4b


      
          end
          
          options = {
            acl: "public-read",
            body: File.open(path, "rb"),
            bucket: bucket,
            content_type: MiniMime.lookup_by_filename(name)&.content_type,
            key: key,
          }
          
          if !FileHelper.is_supported_image?(name)
            upload = Upload.find_by(url: "/#{file}")
          
            if upload&.original_filename
              options[:content_disposition] =
                %Q{attachment; filename="#{upload.original_filename}"}
            end
          
            if upload&.secure
              options[:acl] = "private"
            end

в то время как загрузка в S3 устанавливает content_disposition только для всех не мультимедийных файлов.

github.com/discourse/discourse

lib/file_store/s3_store.rb

d9a02d133


      
          
            filename = opts[:filename].presence || File.basename(path)
            # cache file locally when needed
            cache_file(file, File.basename(path)) if opts[:cache_locally]
            options = {
              acl: opts[:private_acl] ? "private" : "public-read",
              cache_control: 'max-age=31556952, public, immutable',
              content_type: opts[:content_type].presence || MiniMime.lookup_by_filename(filename)&.content_type
            }
            # add a "content disposition" header for "attachments"
            options[:content_disposition] = "attachment; filename=\"#{filename}\"" unless FileHelper.is_supported_media?(filename)
          
            path.prepend(File.join(upload_path, "/")) if Rails.configuration.multisite
          
            # if this fails, it will throw an exception
            path, etag = @s3_helper.upload(file, path, options)
          
            # return the upload url and etag
            [File.join(absolute_base_url, path), etag]
          end

Исправление заключается в замене is_supported_media на is_supported_image (проверено и работает как ожидается).

codinghorror · 28.Май.2020 02:02:56

Нам нужно это исправление, @sam?

sam · 28.Май.2020 02:24:14

Возможно, @martin, как ты думаешь, это изменение верное?

martin · 28.Май.2020 03:03:45

Я думаю, это исправление звучит правильно — дайте мне протестировать предложенные вами изменения локально, и если всё будет в порядке, я создам PR.

martin · 28.Май.2020 03:16:01

Посмотрев на это ещё раз, я думаю, что решение должно быть наоборот — задача uploads:migrate_to_s3 должна выполняться с условием if !FileHelper.is_supported_media?(name). Не имеет смысла добавлять заголовок content-disposition: attachment; filename=X для видео и аудио. Разве вы не воспроизводите эти файлы внутри поста Discourse, а не скачиваете их?

Таким образом, нам нужно следующее:

Без заголовка content-disposition attachment

Изображения
Видео
Аудио

С заголовком content-disposition attachment и оригинальным именем файла

Все остальные вложения/загрузки (PDF, TXT, CSV и т. д.)

Если я что-то упускаю, пожалуйста, не стесняйтесь добавить больше информации или примеров.

md-misko · 28.Май.2020 08:43:11

Поверьте, я потратил дни на то, чтобы разобраться в этом, и мне это тоже показалось странным, но установка content-disposition: attachment; filename=X для всех медиафайлов, кроме изображений, идеально имитирует то, как медиафайлы в настоящее время раздают с локального хранилища.

Кратко: НЕТ! При необходимости я могу транслировать их с помощью oneboxing, но прямая ссылка для скачивания [media_file](path_to_media_file) — где путь может быть как локальным, так и S3 — должна скачивать файл с его оригинальным именем, точно так же, как это происходит на локальном хранилище (и для файлов, перенесённых на S3).

Однако теперь это внезапно стало невозможно для прямых загрузок на S3: ссылка [media_file](S3_path_to_media_file) открывает медиафайл в новой вкладке (что не нужно, так как это делает oneboxing), а при попытке скачать его через элементы управления медиаплеером оригинальное имя файла также теряется.

Я ожидаю, что файлы, размещённые локально и на S3, должны вести себя одинаково, согласны? С вашим предложением функциональность для загрузок на S3 будет полностью инвертирована, причём это затронет не только новые файлы, но и перенесённые.

Вот подробное описание случая и причины, по которым я считаю, что моё предложение верно (то есть оно сохраняет одинаковую функциональность для загрузок, размещённых как локально, так и на S3):

Файлы, размещённые локально

У меня есть большое (более 5000 файлов) хранилище аудиофайлов (речь) размером от 1 до 10 МБ, общий объём которых составляет около 40 ГБ. В настоящее время они размещены на локальном хранилище, но теперь переносятся на S3 (это сделано намеренно, я не хочу, чтобы они размещались на стороннем сервисе). С точки зрения производительности это уже работает довольно хорошо, но сейчас имеет смысл перенести их на S3 из-за растущих затрат на хранение и возможности использования CDN с S3.

Эти файлы оптимизированы по размеру и не предназначены для потоковой передачи; их следует скачивать и прослушивать локально (для клиентов с ограниченной пропускной способностью/соединением). Файлы загружаются пакетно, а затем ссылаются в необработанном тексте поста с помощью ссылок, сгенерированных из их соответствующих значений SHA1, используя формат: [dl_link](https://discourse.forum.tld/uploads/default/original/3X/0/1/0123..sha1.mp3). Их можно скачать с оригинальным именем файла, нажав на прямую ссылку на файл (см. пример здесь).

С другой стороны, если бы эти ссылки были oneboxed, их всё равно можно было бы транслировать напрямую с сервера Discourse (а также скачивать через элементы управления плеером, опять же с оригинальным именем файла).

Файлы, перенесённые на S3

При переносе загрузок с локального хранилища на S3 с помощью задачи uploads:migrate_to_s3 происходит следующее:

Для всех загрузок, кроме изображений, устанавливается content-disposition: attachment; filename=X.
Прямые локальные ссылки [dl_link](https://discourse.forum.tld/uploads/default/original/3X/0/1/0123..sha1.mp3) в необработанном тексте заменяются на ссылки S3 [dl_link](https://cdn_url/uploads/original/3X/0/1/0123..sha1.mp3).

Это в точности имитирует загрузку, размещённую локально (ссылки для скачивания с оригинальными именами файлов, а также работающий oneboxing).

Файлы, только что загруженные на S3

Для всех медиафайлов не устанавливается content-disposition: attachment; filename=X.
Недавно загруженные файлы ссылаются в необработанном тексте через короткую ссылку, но обработанные ссылки всё ещё указывают напрямую на https://cdn_url/uploads/original/3X/0/1/0123..sha1.mp3.
При нажатии на ссылку с коротким URL или вручную вставленную ссылку S3 [dl_link](https://cdn_url/uploads/original/3X/0/1/0123..sha1.mp3) файл открывается в новой вкладке вместо скачивания.

Поскольку content-disposition не установлен, это теперь отличается от того, как медиафайлы раздают с локального хранилища (oneboxing всё ещё работает, но ссылки для скачивания с оригинальными именами файлов больше недоступны).

Если вам нужна дополнительная информация, пожалуйста, дайте знать.

martin · 29.Май.2020 04:28:21

Отлично, спасибо за весь этот дополнительный контекст. Я поэкспериментирую с этим и постараюсь подготовить запрос на слияние на следующей неделе.

md-misko · 15.Июнь.2020 16:09:35

Есть ли шанс, что это попадёт в финальную версию 2.5, которая должна выйти в ближайшее время?

martin · 15.Июнь.2020 23:10:43

Честно говоря, я не углублялся в это дальше из-за других срочных задач. Сейчас я выделил время в своём графике, чтобы на этой неделе детально разобраться в вопросе. Изменения кажутся незначительными, поэтому это не займёт много времени. Как только PR будет готов, я отчитаюсь.

martin · 17.Июнь.2020 00:55:30

@md-misko Я подтвердил ваш сценарий использования, и после исправления заголовка content-disposition я по-прежнему могу корректно стримить аудио и видео. Исправление сейчас собирается и должно быть слито до конца дня:

github.com/discourse/discourse

FIX: Add attachment content-disposition for all non-image files (#10058)

master ← issue/add-attachment-content-disposition-for-all-non-image-uploads

merged 01:16AM - 17 Jun 20 UTC

martin-brennan

+60 -4

This will make it so the original filename is used when downloading all non-imag…e files, bringing S3Store into line with the to_s3 migration and local storage. Video and audio files will still stream correctly in HTML players as well. See https://meta.discourse.org/t/cannot-download-non-image-media-files-original-filenames-lost-when-uploaded-to-s3/152797 for a lot of extra context.

Спасибо за ваше терпение!

martin · 20.Июнь.2020 08:00:01

Эта тема была автоматически закрыта через 3 дня. Новые ответы больше не принимаются.

Тема		Ответов	Просм.
A bug when files were migrated to S3 Bug s3	0	51	13.01.2025
Download links for .txt (and .yaml) attachments show raw text instead of dowload Support	1	42	10.04.2026
Broken pipe error when uploading to a S3 clone, a pdf with a name containing é,ï etc Bug	4	1131	26.06.2020
Attachment filename not set on download Support unsupported-install	5	2599	24.02.2017
Broken Images and Their S3 URLs Support	33	4634	30.09.2020

Не удается загрузить файлы медиа, отличные от изображений; оригинальные имена файлов теряются при загрузке в S3

Файлы, размещённые локально

Файлы, перенесённые на S3

Файлы, только что загруженные на S3

Связанные темы