Scaleway の S3 互換オブジェクトストレージの利用

dino · 2020 年 2 月 4 日午後 3:54

こんにちは、

Scaleway の S3 互換オブジェクトストレージを Discourse で設定しようとしているのですが、うまくいかず、問題の箇所がわかりません。

両方のバケットが aws-cli で動作することを確認し、Scaleway の公式ドキュメントに従って CORS 設定も正しく行っているため、バケット自体に問題はないと考えています。

これが私の Discourse の S3 設定です（バケット名の一部は伏せています）：

バックアップタブを開くと「Failed to list backups from S3: Aws::S3::Errors::BadRequest」というエラーが表示されます。
また、画像をアップロードしようとすると、ログに以下のように表示されます：‘Job exception: Failed to open TCP connection to [redacted]-discourse-files.s3.fr-par.amazonaws.com:443 (getaddrinfo: Name or service not known)’

最新バージョンの Discourse 2.4.0.beta10 (14ae574bc5) を実行しています。

codinghorror · 2020 年 2 月 4 日午後 4:13

私の推測では、彼らが思っているほど S3 互換性がないのではないでしょうか？

S3 のリージョン設定もここでの挙動に影響しているようです。

dino · 2020 年 2 月 4 日午後 4:40

それは可能ですが、エンドポイントを入力した場合、URL に amazonaws.com は含まれないはずです。

Falco · 2020 年 2 月 4 日午後 4:52

その通り、これは変ですね。もしかして、ヒップスターな TLD が原因かもしれません。確認してみましょう。

@dino s3 endpoint から https:// を削除してみてください。

dino · 2020 年 2 月 4 日午後 7:23

バリデーションにより、その操作が許可されません：‘s3_endpoint: 値が必須の形式と一致しません。’

Falco · 2020 年 2 月 4 日午後 8:59

はい、それは的外れな推測でしたね。

そのコードを読みながら、あなたのようになりで終わる URL を見つける方法が見つかりません:

github.com/discourse/discourse

app/models/site_setting.rb

main


      
          client_settings << :available_content_localization_locales
          
          def self.available_content_localization_locales
            return [] if !SiteSetting.content_localization_enabled?
          
            locales = content_localization_locales
            LocaleSiteSetting.values.select { |locale| locales.include?(locale[:value]) }
          end
          
          def self.topic_title_length
            min_topic_title_length..max_topic_title_length
          end
          
          def self.private_message_title_length
            min_personal_message_title_length..max_topic_title_length
          end

これはバックアップのみが影響を受けているのでしょうか？アップロードは正常に動作していますか？

pfaffman · 2020 年 2 月 4 日午後 9:06

さて、それは私が GCP バケットで遭遇した問題とは異なりますが、Trouble with Google Bucket for backup - #4 by pfaffman を参照してみてください。

aws-sdk-s3 gem のどのアップグレードが GCP バケットの使用を不可能にしたかを特定できましたが、私のクライアントが選んだ解決策は AWS バケットへの切り替えでした。

dino · 2020 年 2 月 4 日午後 9:31

@Falco はい、私も手がかりがありません。
amazonaws を含む URL のエラーは、バックアップではなくファイルのアップロードに固有の問題です。バックアップについては一般的なエラーのみが表示されるため、URL の問題により両方が機能していないと思われます。

他に考えられることはありますか？

@pfaffman 情報ありがとうございます。gem のバージョンを変更することで解決するか確認します。

FroggyC · 2020 年 2 月 21 日午後 9:42

こんにちは、@dino さん。それで解決しましたか？私も同じ問題に直面しており、もう諦めて Amazon S3 に乗り換えようかと思っています。

dino · 2020 年 2 月 22 日午前 6:31

@FroggyC さん、こんにちは。
実際にはデバッグする時間がなく、結局 gem のバージョンを変更して試すことはできませんでした。公式ドキュメントに従って Amazon S3 を使うように切り替えたところ、すぐに動作しました。
良いニュースではなく申し訳ありません…

FroggyC · 2020 年 2 月 23 日午前 10:38

ありがとうございます。私たちも同じことをする必要があるかもしれませんね。ありがとうございます！

overheadhunter · 2020 年 4 月 3 日午後 1:43

同じ問題が発生しています。デバッグに何かお手伝いできることはありますか？

例えば、CLI を介してバケットにアクセスし、ログファイルを送信するなどです。

s3_region は無視されますよね？Scaleway は AWS と異なる値を使用しているためです。

codinghorror · 2020 年 4 月 4 日午前 8:56

Scalewayに問い合わせてみることをお勧めします。互換性の責任は彼らにあります。彼らが完全にAWS S3と互換性がない場合、その点を修正すべきです。

overheadhunter · 2020 年 4 月 4 日午前 10:03

あなたはそれが彼らの責任だと暗示していますが、これまで@dino のコメントを無視し続けていますね：

（改ざんされていない）s3_endpoint の URL をそのまま使用しない限り、Scaleway にエラーが自社の側に起因すると納得させるのは難しいでしょう。特に、他の S3 クライアントが接続できているという事実があるからです。

codinghorror · 2020 年 4 月 4 日午前 10:11

わかりました、証明してください。それが事実であることを示すドキュメントとログのトレースを示してください。当社の問題に関する実際の証拠を提供いただければ、確認いたします。

overheadhunter · 2020 年 4 月 4 日午後 1:46

はい、私が言いたかったのはそのことです。

では、DiscourseにS3接続の試行をログ出力させるにはどうすればよいでしょうか？接続先URLが何であるかを確認できれば、トラフィックを傍受して結果を共有できます。

elle · 2020 年 4 月 10 日午前 10:21

S3 アップロード/バックアップが機能しない理由は、fr-par（または nl-ams）に設定する必要があるリージョンを、Discourse の SiteSetting 検証を迂回してのみ設定できるためです。

（./launcher enter app を実行し、その後 rails c を実行）

SiteSetting.find_by(name: 's3_region').update_attribute(:value, 'fr-par')

この変更後、アップロードとバックアップは Scaleway オブジェクトストレージに対して正常に機能します。

Scaleway のオブジェクトストレージ機能に関するドキュメント

もちろん、これは回避策であり、Web 管理者を通じてこのサイト設定をリセットまたは変更すると、再度動作する状態に戻すことができません（Rails コンソールを再度使用する必要がある場合を除く）。

現在の Web 管理者の状態とは異なり、AWS/S3 クライアントは明示的にリージョン文字列を設定できるはずです。

また、Discourse の「EU (Paris)」ドロップダウン値についても、これは AWS の命名規則である eu-west-3（またはそれに類する値）を指しており、Scaleway での期待される値とは異なるため、やや誤解を招く可能性があります。

codinghorror · 2020 年 4 月 10 日午後 5:53

なるほど。@falco さん、特別な「S3 互換リージョン」の設定フィールドが必要でしょうか？それにより、ユーザーが完全に任意（つまり、Amazon の観点からは「架空」の）のリージョンを入力できるようになります。

Falco · 2020 年 4 月 10 日午後 6:41

それはいりません。

S3 クローンを使用する場合は、S3 エンドポイント環境変数を設定する必要があります。これにより、S3 リージョンが上書きされます。

github.com/discourse/discourse

app/models/site_setting.rb

a1d660d95


      
            def self.absolute_base_url
              url_basename = SiteSetting.s3_endpoint.split('/')[-1]
              bucket = SiteSetting.enable_s3_uploads ? Discourse.store.s3_bucket_name : GlobalSetting.s3_bucket_name
          
              # cf. http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region
              if SiteSetting.s3_endpoint.blank? || SiteSetting.s3_endpoint.end_with?("amazonaws.com")
                if SiteSetting.Upload.s3_region.start_with?("cn-")
                  "//#{bucket}.s3.#{SiteSetting.Upload.s3_region}.amazonaws.com.cn"
                else
                  "//#{bucket}.s3.dualstack.#{SiteSetting.Upload.s3_region}.amazonaws.com"
                end
              else
                "//#{bucket}.#{url_basename}"
              end
            end
          end

Digital Ocean の S3 クローンを使った詳しい手順をまとめたガイドを用意しているのですが、Digital Ocean が S3 CDN のバグを修正するのを待っているところです。

Scaleway の方が Digital Ocean より状況が良ければ、試してみようと考えています。その場合、ガイドもそれを基に作成する予定です。

codinghorror · 2020 年 4 月 10 日午後 6:48

その通りですが、彼らはそれをどうやって知るのでしょうか？既存のサイト設定の説明にはこれが記載されていますか？記載されるべきだと思います。対応可能でしょうか？

トピック		返信	表示
Configure an S3 compatible object storage provider for uploads Self-Hosting configuring , reference , how-to , cdn	270	46441	2026 年 5 月 20 日
Set up file and image uploads to S3 Self-Hosting configuring , how-to	35	120217	2025 年 10 月 25 日
SSL_connect returned=1 errno=0 peeraddr=162.243.189.2:443 state=error: certificate verify failed (Hostname mismatch) Self-hosting s3	19	4549	2024 年 1 月 9 日
Issues with AWS CDN and S3 Self-hosting cdn , s3	23	395	2026 年 1 月 29 日
Extend S3 configuration for other s3 API compatible cloud storage solutions Feature	40	11056	2018 年 8 月 30 日

Scaleway の S3 互換オブジェクトストレージの利用

関連トピック