Загрузка объектов в приватный S3 не работает

[mahcr (Mariano Alvarez)]

После тщательного исследования я не нашёл ни одного руководства по загрузке изображений в S3 с приватным ACL.

Я столкнулся со странным поведением: резервные копии создаются успешно, а загрузка изображений — нет.

Я сузил круг поиска до проблемы с ACL ведра (я подтвердил, что проблема именно в ACL, так как могу загрузить файл через SDK без указания флага ACL). В некоторых случаях разрешение «Блокировать публичный доступ» установлено на уровне аккаунта, а не на уровне ведра, поэтому снятие галочки в конфигурации ведра не поможет.

Я заметил, что код конфигурации загрузки S3 был обновлён, и теперь ACL устанавливается на основе параметра. Есть ли способ передать эту конфигурацию? discourse/lib/file_store/s3_store.rb at tests-passed · discourse/discourse · GitHub

[pfaffman (Jay Pfaffman)]

В статье Secure Uploads описывается, как ограничить загрузку файлов только для авторизованных пользователей. Возможно, это вам поможет?

[mahcr (Mariano Alvarez)]

Я попробовал это: изображения загружаются, но в панели управления возникает ошибка 500, без каких-либо подсказок и логов.

[shawnngtq (Shawn Ng)]

@mahcr,

У меня возникла та же проблема. Я могу сделать резервную копию, но не могу загрузить изображение из-за ошибки «The bucket does not allow ACLs».

Для IAM я прикрепил политику AmazonS3FullAccess, но ошибка остается той же.

Есть ли у вас какое-либо решение?

[seong (Seong-Young Her)]

У меня та же проблема: резервное копирование работает, но загрузка — нет.

Это руководство устарело:

Set up file and image uploads to S3

So, you want to use S3 to handle image uploads? Here’s the definitive guide, but also see Configure an S3 compatible object storage provider for uploads to see how to configure your app.yml. S3 registration Head over to https://aws.amazon.com/free/ and click on [Create a Free Account] During the create account process, make sure you provide payment information, otherwise you won’t be able to use S3. There’s no registration fee, you will only be charged for what you use, if you exceed the AWS …

Это руководство кажется полезным для части CDN, но не является полным решением:

@scottfsmith

Для справки, вот что я сделал:

1. Зашёл в консоль AWS, в разделе «Сеть и доставка контента» выбрал CloudFront.
2. Нажал кнопку «Создать дистрибуцию».
3. Заполнил довольно очевидную форму; единственное, что действительно нужно было сделать — выбрать из выпадающего списка свой бакет AWS S3, где хранятся изображения.
4. Немного подождал завершения настройки CloudFront…
5. В столбце «Имя домена» списка дистрибуций CloudFront появился домен вида <gibberish>.cloudfront.net.
6. Я скопировал и вставил этот домен в поле s3 cdn url в настройках файлов на странице администратора сайта.
7. Провёл несколько тестов:
   a. Создал новый пост с загрузкой изображения — оно действительно оказалось на CloudFront.
   b. Нажал «Пересобрать HTML» на некоторых случайных существующих постах с изображениями и увидел, что они тоже пересобрались с изображениями cloudfront.net.
8. Поскольку всё выглядело хорошо, я запустил пересборку (rebake), которая заняла несколько часов, так как у меня сейчас около полумиллиона постов:

./launcher enter app
# rake posts:rebake

9. Всё, похоже, работает нормально. В очередь Sidekiq было добавлено множество задач — по одной на каждый пост, судя по всему, — которые займут несколько дней на очистку, но система уже начала их обрабатывать.

[lisbethw1130 (Lisbeth Wu)]

У меня возникла та же проблема. Загрузка резервной копии работает, но при загрузке изображений появляется сообщение «The bucket does not allow ACLs». Проблема была решена путем изменения одного разрешения в IAM и двух настроек в бакете.

Сначала я изменил руководство по разрешению IAM: заменил «s3:HeadBucket» на «s3:ListBucket», так как Amazon указал, что HeadBucket не является допустимым разрешением.

Затем я точно следовал руководству, как указано на странице разрешений в бакете.

И наконец, самый важный шаг — включить ACL. Это называется «Изменить владение объектами» (Edit Object Ownership) на вкладке разрешений. После включения ACL и установки значения «Object Writer» всё заработало как надо.

Надеюсь, мой опыт вам поможет.