Scaleway の S3 互換オブジェクトストレージの利用

dino · 2020 年 2 月 4 日午後 3:54

Hi,

I’m trying to set up Discourse to use Scaleways S3-compatible Object Storage, but I can’t seem to get it to work and I’m not sure where the problem is.

I’ve verified that the both of the buckets work using aws-cli and that the CORS settings are properly set up by following the official docs from Scaleway so I don’t think the buckets themselves are the problem.

These are my Discourse S3 settings (part of bucket name redacted):

When I open the backups tab I get ‘Failed to list backups from S3: Aws::S3::Errors::BadRequest’
And when I try to upload an image, I see this in the log: 'Job exception: Failed to open TCP connection to [redacted]-discourse-files.s3.fr-par.amazonaws.com:443 (getaddrinfo: Name or service not known) '.

I’m running the latest Discourse - 2.4.0.beta10 (14ae574bc5).

codinghorror · 2020 年 2 月 4 日午後 4:13

My guess is they are less s3 compatible than they think they are?

The s3 region setting seems like it is influencing things here as well.

dino · 2020 年 2 月 4 日午後 4:40

That’s possible, but the url shouldn’t include amazonaws.com if I entered the endpoint - right?

Falco · 2020 年 2 月 4 日午後 4:52

Exactly, this is weird. Maybe because of the hipster TLD? Let me take a look.

@dino try removing the https:// from s3 endpoint

dino · 2020 年 2 月 4 日午後 7:23

The validation won’t let me do that: ‘s3_endpoint: Value doesn’t match the required format.’

Falco · 2020 年 2 月 4 日午後 8:59

Yeah, that was a bad guess.

I can’t find a way to end with a URL like yours by reading the code responsible for it:

github.com/discourse/discourse

app/models/site_setting.rb

main


      
          def self.private_message_title_length
            min_personal_message_title_length..max_topic_title_length
          end
          
          def self.post_length
            min_post_length..max_post_length
          end
          
          def self.first_post_length
            min_first_post_length..max_post_length
          end
          
          def self.private_message_post_length
            min_personal_message_post_length..max_post_length
          end

Is this only affecting backups? Are uploads working?

pfaffman · 2020 年 2 月 4 日午後 9:06

Well, that’s different from the issue that I had with GCP buckets, but you might have a look at Trouble with Google Bucket for backup - #4 by pfaffman.

I was able to determine which upgrade of the aws-sdk-s3 gem caused using GCP Buckets not to work, though the solution my client chose was to switch to an AWS bucket.

dino · 2020 年 2 月 4 日午後 9:31

@Falco yeah, I’m stumped too.
The error with the url which contains amazonaws is specifically for the file upload, not backups. For backups I only get the generic error, so I guess both are broken because of the url issue.

Can you think of anything else?

@pfaffman thanks for the tip - I’ll see if changing the version of the gem helps.

FroggyC · 2020 年 2 月 21 日午後 9:42

Hey @dino, did that end up helping out? I’m having the same problem here and I’m about to give up and switch to Amazon S3.

dino · 2020 年 2 月 22 日午前 6:31

Hey @FroggyC,
I actually ran out of time to debug this so I didn’t experiment with changing the gem vesions after all. I switched to using Amazon S3 using the official docs and things worked right away.
Sorry it’s not better news…

FroggyC · 2020 年 2 月 23 日午前 10:38

Thank you. I guess we will have to do the same. Thank you!

overheadhunter · 2020 年 4 月 3 日午後 1:43

同じ問題が発生しています。デバッグに何かお手伝いできることはありますか？

例えば、CLI を介してバケットにアクセスし、ログファイルを送信するなどです。

s3_region は無視されますよね？Scaleway は AWS と異なる値を使用しているためです。

codinghorror · 2020 年 4 月 4 日午前 8:56

Scalewayに問い合わせてみることをお勧めします。互換性の責任は彼らにあります。彼らが完全にAWS S3と互換性がない場合、その点を修正すべきです。

overheadhunter · 2020 年 4 月 4 日午前 10:03

あなたはそれが彼らの責任だと暗示していますが、これまで@dino のコメントを無視し続けていますね：

（改ざんされていない）s3_endpoint の URL をそのまま使用しない限り、Scaleway にエラーが自社の側に起因すると納得させるのは難しいでしょう。特に、他の S3 クライアントが接続できているという事実があるからです。

codinghorror · 2020 年 4 月 4 日午前 10:11

わかりました、証明してください。それが事実であることを示すドキュメントとログのトレースを示してください。当社の問題に関する実際の証拠を提供いただければ、確認いたします。

overheadhunter · 2020 年 4 月 4 日午後 1:46

はい、私が言いたかったのはそのことです。

では、DiscourseにS3接続の試行をログ出力させるにはどうすればよいでしょうか？接続先URLが何であるかを確認できれば、トラフィックを傍受して結果を共有できます。

elle · 2020 年 4 月 10 日午前 10:21

S3 アップロード/バックアップが機能しない理由は、fr-par（または nl-ams）に設定する必要があるリージョンを、Discourse の SiteSetting 検証を迂回してのみ設定できるためです。

（./launcher enter app を実行し、その後 rails c を実行）

SiteSetting.find_by(name: 's3_region').update_attribute(:value, 'fr-par')

この変更後、アップロードとバックアップは Scaleway オブジェクトストレージに対して正常に機能します。

Scaleway のオブジェクトストレージ機能に関するドキュメント

もちろん、これは回避策であり、Web 管理者を通じてこのサイト設定をリセットまたは変更すると、再度動作する状態に戻すことができません（Rails コンソールを再度使用する必要がある場合を除く）。

現在の Web 管理者の状態とは異なり、AWS/S3 クライアントは明示的にリージョン文字列を設定できるはずです。

また、Discourse の「EU (Paris)」ドロップダウン値についても、これは AWS の命名規則である eu-west-3（またはそれに類する値）を指しており、Scaleway での期待される値とは異なるため、やや誤解を招く可能性があります。

codinghorror · 2020 年 4 月 10 日午後 5:53

なるほど。@falco さん、特別な「S3 互換リージョン」の設定フィールドが必要でしょうか？それにより、ユーザーが完全に任意（つまり、Amazon の観点からは「架空」の）のリージョンを入力できるようになります。

Falco · 2020 年 4 月 10 日午後 6:41

それはいりません。

S3 クローンを使用する場合は、S3 エンドポイント環境変数を設定する必要があります。これにより、S3 リージョンが上書きされます。

github.com/discourse/discourse

app/models/site_setting.rb

a1d660d95


      
            def self.absolute_base_url
              url_basename = SiteSetting.s3_endpoint.split('/')[-1]
              bucket = SiteSetting.enable_s3_uploads ? Discourse.store.s3_bucket_name : GlobalSetting.s3_bucket_name
          
              # cf. http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region
              if SiteSetting.s3_endpoint.blank? || SiteSetting.s3_endpoint.end_with?("amazonaws.com")
                if SiteSetting.Upload.s3_region.start_with?("cn-")
                  "//#{bucket}.s3.#{SiteSetting.Upload.s3_region}.amazonaws.com.cn"
                else
                  "//#{bucket}.s3.dualstack.#{SiteSetting.Upload.s3_region}.amazonaws.com"
                end
              else
                "//#{bucket}.#{url_basename}"
              end
            end
          end

Digital Ocean の S3 クローンを使った詳しい手順をまとめたガイドを用意しているのですが、Digital Ocean が S3 CDN のバグを修正するのを待っているところです。

Scaleway の方が Digital Ocean より状況が良ければ、試してみようと考えています。その場合、ガイドもそれを基に作成する予定です。

codinghorror · 2020 年 4 月 10 日午後 6:48

その通りですが、彼らはそれをどうやって知るのでしょうか？既存のサイト設定の説明にはこれが記載されていますか？記載されるべきだと思います。対応可能でしょうか？

トピック		返信	表示
Configure an S3 compatible object storage provider for uploads Self-Hosting configuring , reference , how-to , cdn	267	45760	2026 年 1 月 31 日
Set up file and image uploads to S3 Self-Hosting configuring , how-to	35	120027	2025 年 10 月 25 日
SSL_connect returned=1 errno=0 peeraddr=162.243.189.2:443 state=error: certificate verify failed (Hostname mismatch) Self-hosting s3	19	4483	2024 年 1 月 9 日
Issues with AWS CDN and S3 Self-hosting cdn , s3	23	303	2026 年 1 月 29 日
Extend S3 configuration for other s3 API compatible cloud storage solutions Feature	40	11020	2018 年 8 月 30 日

Scaleway の S3 互換オブジェクトストレージの利用

関連トピック