バックアップまたはバックアップへの移動ができません

merefield · 2024 年 11 月 11 日午前 7:51

バックアップに失敗しました。

ログはこちらです。

undefined method `start_with?' for nil /var/www/discourse/app/models/site_setting.rb:172:in `use_dualstack_endpoint’
/var/www/discourse/lib/s3_helper.rb:269:in `s3_options' /var/www/discourse/lib/backup_restore/s3_backup_store.rb:14:in `initialize’
/var/www/discourse/lib/backup_restore/backup_store.rb:17:in `new'`

最近の最新への再構築後に発生しました。

私の場合は、S3は通常のAWSバケットでホストされています。

これと関係があるのでしょうか？

hosna · 2024 年 11 月 11 日午前 8:17

minio オブジェクトストレージを s3 用に使用していますが、このエラーが発生します。

rake aborted!
Aws::S3::Errors::Http504Error: Aws::S3::Errors::Http504Error (Aws::S3::Errors::Http504Error)
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/raise_response_errors.rb:17:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/sse_cpk.rb:24:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/dualstack.rb:21:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/plugins/accelerate.rb:43:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/checksum_algorithm.rb:111:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/jsonvalue_converter.rb:16:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/idempotency_token.rb:19:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/param_converter.rb:26:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/request_callback.rb:89:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/response_paging.rb:12:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/plugins/response_target.rb:24:in `call'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/seahorse/client/request.rb:72:in `send_request'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/client.rb:11285:in `list_objects_v2'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/bucket.rb:1304:in `block (2 levels) in objects'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/plugins/user_agent.rb:28:in `feature'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-s3-1.143.0/lib/aws-sdk-s3/bucket.rb:1303:in `block in objects'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:101:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:101:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:101:in `block in non_empty_batches'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:52:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:52:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:52:in `block in each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:58:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:58:in `each'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/aws-sdk-core-3.191.3/lib/aws-sdk-core/resources/collection.rb:58:in `each'
/var/www/discourse/lib/tasks/s3.rake:14:in `map'
/var/www/discourse/lib/tasks/s3.rake:14:in `existing_assets'
/var/www/discourse/lib/tasks/s3.rake:210:in `block in <main>'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rake-13.2.1/exe/rake:27:in `<top (required)>'
/usr/local/bin/bundle:25:in `load'
/usr/local/bin/bundle:25:in `<main>'
Tasks: TOP => s3:expire_missing_assets
(See full trace by running task with --trace)
I, [2024-11-11T08:02:51.942337 #1]  INFO -- : Checking for stale S3 assets...

I, [2024-11-11T08:02:51.944197 #1]  INFO -- : Terminating async processes
I, [2024-11-11T08:02:51.944334 #1]  INFO -- : Sending INT to HOME=/var/lib/postgresql USER=postgres exec chpst -u postgres:postgres:ssl-cert -U postgres:postgres:ssl-cert /usr/lib/postgresql/13/bin/postmaster -D /etc/postgresql/13/main pid: 39
I, [2024-11-11T08:02:51.944432 #1]  INFO -- : Sending TERM to exec chpst -u redis -U redis /usr/bin/redis-server /etc/redis/redis.conf pid: 107
2024-11-11 08:02:51.944 UTC [39] LOG:  received fast shutdown request
107:signal-handler (1731312171) Received SIGTERM scheduling shutdown...
2024-11-11 08:02:51.945 UTC [39] LOG:  aborting any active transactions
2024-11-11 08:02:51.949 UTC [39] LOG:  background worker "logical replication launcher" (PID 54) exited with exit code 1
2024-11-11 08:02:51.950 UTC [49] LOG:  shutting down
107:M 11 Nov 2024 08:02:51.960 # User requested shutdown...
107:M 11 Nov 2024 08:02:51.960 * Saving the final RDB snapshot before exiting.
2024-11-11 08:02:52.047 UTC [39] LOG:  database system is shut down
107:M 11 Nov 2024 08:02:52.207 * DB saved on disk
107:M 11 Nov 2024 08:02:52.208 # Redis is now ready to exit, bye bye...

FAILED
--------------------
Pups::ExecError: cd /var/www/discourse &amp;&amp; sudo -E -u discourse bundle exec rake s3:expire_missing_assets failed with return #&lt;Process::Status: pid 3550 exit 1&gt;
Location of failure: /usr/local/lib/ruby/gems/3.3.0/gems/pups-1.2.1/lib/pups/exec_command.rb:132:in `spawn'
exec failed with the params {"cd"=>"$home", "cmd"=>["sudo -E -u discourse bundle exec rake s3:upload_assets", "sudo -E -u discourse bundle exec rake s3:expire_missing_assets"]}
bootstrap failed with exit code 1
** FAILED TO BOOTSTRAP ** please scroll up and look for earlier error messages, there may be more than one.
./discourse-doctor may help diagnose the problem.
4f601885ffad64bcd29f6dbd06df1f0f86ad301341d40e752df7447809a32eff

@martin

merefield · 2024 年 11 月 11 日午後 11:16

バックアップに移動できなくなったという別の問題があります。

Error while computing report `storage_stats`: undefined method `start_with?' for nil
/var/www/discourse/app/models/site_setting.rb:172:in `use_dualstack_endpoint'
/var/www/discourse/lib/s3_helper.rb:269:in `s3_options'

merefield · 2024 年 11 月 11 日午後 11:24

これが原因でしょうか？

[7] pry(main)> SiteSetting.Upload.s3_region
=> nil
[8] pry(main)> SiteSetting.s3_region
=> "eu-west-2"
[9] pry(main)>

私のインスタンスでは SiteSetting.Upload.s3_region が空白なので、starts_with? でエラーが発生しています。

github.com/discourse/discourse

app/models/site_setting.rb

4816e8e0e


      
          
          def self.enable_s3_transfer_acceleration
            if SiteSetting.enable_s3_uploads
              SiteSetting.enable_s3_transfer_acceleration
            else
              GlobalSetting.enable_s3_transfer_acceleration
            end
          end
          
          def self.use_dualstack_endpoint
            SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")
          end
          
          def self.enable_s3_uploads
            SiteSetting.enable_s3_uploads || GlobalSetting.use_s3?
          end
          
          def self.s3_base_url
            path = self.s3_upload_bucket.split("/", 2)[1]
            "#{self.absolute_base_url}#{path ? "/" + path : ""}"
          end

merefield · 2024 年 11 月 11 日午後 11:30

このPRでは：

github.com/discourse/discourse

FIX: S3 custom endpoint incompatible with dualstack

main ← issue/fix-s3-endpoint-dualstack

opened 12:41AM - 08 Nov 24 UTC

martin-brennan

+22 -5

Followup 0568d36133081e52f25f05585c1a568c3b828d79 S3 itself and other S3-comp…atible providers do not allow using an S3 custom endpoint and dualstack at the same time, so this commit fixes that by not using dualstack when the endpoint is present. c.f. https://meta.discourse.org/t/rebuild-issue-cannot-set-dual-stack-in-combination-with-a-custom-endpoint/334902

specではSiteSetting.s3_regionが使用されていますが、コードではSiteSetting.Upload.s3_regionが使用されています：thinking:

martin · 2024 年 11 月 12 日午前 5:56

@hosna と @merefield さん、SiteSetting.enable_s3_uploads はお二人とも true ですか？もしそうであれば、SiteSetting.s3_region を使用するだけでよいはずです。

github.com/discourse/discourse

app/models/site_setting.rb

f9d92fa87


      
          def self.s3_region
            SiteSetting.enable_s3_uploads ? SiteSetting.s3_region : GlobalSetting.s3_region
          end

SiteSetting::Upload.enable_s3_uploads についてはどうですか？それは何を示していますか？

s3_region の安全なナビゲーションを使用した、このような修正を行うことができます。

def self.use_dualstack_endpoint
  SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region&.start_with?("cn-")
end

しかし、なぜ SiteSetting.Upload.s3_region がお二人とも空白なのか理解したいのです。

merefield · 2024 年 11 月 12 日午前 6:40

さらに奇妙なことですが、設定が2つあるようです。

バックアップにはS3を使用していますが、アップロードには使用していません（これは有効な選択肢であり、長年そうしてきましたか？）
インターフェースでは両方の有効化は強制されていません。
何年も設定を変更していません。

したがって、SiteSetting::Upload.s3_region は使用していないため空白になっていますか？

ちなみに、アップロードはバックアップにバンドルされるべきですが、SiteSetting.s3_region で十分なはずですよね？

バックアップはまだ失敗しています。

hosna · 2024 年 11 月 12 日午前 11:42

もしこの設定のことを指しているのであれば、私には有効になっていません。

app.yml ファイルで S3 をこのように設定しました。

これはこちらで言及されている通りです。

@martin

omarfilip · 2024 年 11 月 13 日午前 3:03

上記の問題と同じ問題を報告します。/admin/backups にアクセスできません（エラー 500）、バックアップが失敗しました。

S3 バックアップは有効になっていますが、S3 アップロードは無効になっています。これは長年有効であり、正常に機能していました。

エラーログ

### Message (14 copies reported)

Error while computing report `storage_stats`: undefined method `start_with?' for nil /var/www/discourse/app/models/site_setting.rb:172:in `use_dualstack_endpoint' /var/www/discourse/lib/s3_helper.rb:269:in `s3_options' /var/www/discourse/lib/backup_restore/s3_backup_store.rb:14:in `initialize' /var/www/discourse/lib/backup_restore/backup_store.rb:17:in `new' /var/www/discourse/lib/backup_restore/backup_store.rb:17:in `create' /var/www/discourse/app/models/concerns/reports/storage_stats.rb:10:in `report_storage_stats' /var/www/discourse/app/models/report.rb:269:in `public_send' /var/www/discourse/app/models/report.rb:269:in `block in find' /var/www/discourse/app/models/report.rb:165:in `block in wrap_slow_query' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.1.5/lib/active_record/connection_adapters/abstract/transaction.rb:535:in `block in within_new_transaction' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.1.5/lib/active_support/concurrency/null_lock.rb:9:in `synchronize' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.1.5/lib/active_record/connection_adapters/abstract/transaction.rb:532:in `within_new_transaction' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activerecord-7.1.5/lib/active_record/connection_adapters/abstract/database_statements.rb:344:in `transaction' /var/www/discourse/app/models/report.rb:160:in `wrap_slow_query' /var/www/discourse/app/models/report.rb:267:in `find' /var/www/discourse/app/controllers/admin/reports_controller.rb:97:in `block (2 levels) in bulk' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:400:in `block in each_pair' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:399:in `each_pair' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:399:in `each_pair' /var/www/discourse/app/contro...

### Backtrace

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:134:in `block in error'

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:231:in `block in dispatch'

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:231:in `each'

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:231:in `dispatch'

activesupport-7.1.5/lib/active_support/broadcast_logger.rb:134:in `error'

/var/www/discourse/app/models/report.rb:295:in `rescue in find'

/var/www/discourse/app/models/report.rb:262:in `find'

/var/www/discourse/app/controllers/admin/reports_controller.rb:97:in `block (2 levels) in bulk'

actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:400:in `block in each_pair'

actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:399:in `each_pair'

actionpack-7.1.5/lib/action_controller/metal/strong_parameters.rb:399:in `each_pair'

/var/www/discourse/app/controllers/admin/reports_controller.rb:76:in `block in bulk'

/var/www/discourse/lib/hijack.rb:64:in `instance_eval'

/var/www/discourse/lib/hijack.rb:64:in `block in hijack'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:911:in `callback_on_resolution'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:797:in `call_callback'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:803:in `call_callbacks'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:692:in `resolve_with'

concurrent-ruby-1.3.4/lib/concurrent-ruby/concurrent/promises.rb:1325:in `resolve'

/var/www/discourse/lib/scheduler/defer.rb:115:in `block in do_work'

rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'

rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'

/var/www/discourse/lib/scheduler/defer.rb:109:in `do_work'

/var/www/discourse/lib/scheduler/defer.rb:97:in `block (2 levels) in start_thread'

### Env

1/14

|hostname|forum-app|
| --- | --- |
|process_id|849|
|application_version|234133bd3b0750b2675a1c2c6745616c899df990|
|HTTP_HOST|forum.glasair-owners.com|
|REQUEST_METHOD|GET|
|HTTP_USER_AGENT|Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36|
|HTTP_ACCEPT|application/json, text/javascript, */*; q=0.01|
|HTTP_REFERER|https://forum.glasair-owners.com/admin|
|HTTP_X_FORWARDED_FOR|xxx|
|HTTP_X_REAL_IP|xxx|
|username|xxx|
|time|6:47 pm|
||params null|

Chet_McDoniel · 2024 年 11 月 13 日午前 3:30

私も同じ問題です…

pfaffman · 2024 年 11 月 14 日午後 5:07

いいえ。それが問題だと思います。彼らはバックアップにS3を使用していますが、アップロードには使用していません。これはセルフホスティングでは一般的な設定です。S3バックアップの設定は簡単で、CDNを必要としたり、アセットをプリコンパイルのためにアップロードするYMLを変更したりする必要はありません。

アップロードにS3を使用していないため、空白になっています。

      SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

上記のGitHubリンクから、以下であるべきです。

      GlobalSettings.use_s3 && SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

または、おそらく

      SiteSetting.enable_s3_uploads && SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

use_s3 と enable_s3_uploads がどのように関連しているのか、よくわかりません。

pfaffman · 2024 年 11 月 14 日午後 5:18

そして、私はそれが

github.com/discourse/discourse

app/models/site_setting.rb

4816e8e0e


      
              SiteSetting.enable_s3_transfer_acceleration
            else
              GlobalSetting.enable_s3_transfer_acceleration
            end
          end
          
          def self.use_dualstack_endpoint
            SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")
          end
          
          def self.enable_s3_uploads
            SiteSetting.enable_s3_uploads || GlobalSetting.use_s3?
          end
          
          def self.s3_base_url
            path = self.s3_upload_bucket.split("/", 2)[1]
            "#{self.absolute_base_url}#{path ? "/" + path : ""}"
          end
          
          def self.absolute_base_url
            url_basename = SiteSetting.s3_endpoint.split("/")[-1]

def self.enable_s3_uploads? であるべきだと思います（s3アップロードを有効にするのではなく、s3アップロードが有効かどうかを報告するため）。そして

  SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

は

  use_s3_uploads? && SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

であるべきです。
OTOH、それは7年前にサムが付けた名前であり、問題なかったようです

だから、関数が現在どのように名付けられているかというと

  use_s3_uploads && SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

merefield · 2024 年 11 月 14 日午後 6:50

それは次のようにすべきではないでしょうか？

use_s3_uploads? && !SiteSetting.Upload.s3_endpoint.blank? && !SiteSetting.Upload.s3_region.start_with?("cn-")

つまり、S3アップロードエンドポイントは空白ではないということですか？

hosna · 2024 年 11 月 14 日午後 7:04

しかし、アップロードにもS3を使用しています。app.ymlで設定しました。

MarcP · 2024 年 11 月 14 日午後 7:29

請求書を支払ったかどうかを確認するためにストレージプロバイダーにログインしましたが、支払いは済んでいました。

なぜこのような重大な変更が発表なしにプッシュされたのでしょうか？

app.yml にすべての詳細を入力する必要があるのでしょうか？

管理バックエンドからすべての設定が削除されたのはなぜですか？それらの設定をどのように取得できますか？数年前にこれを設定しましたが、キーやシークレットが何であるか全く分かりません。また、同じS3エンドポイントを使用している他のサービスに影響を与えるキーのリセットなしにこれを取得できるかどうかも分かりません。

merefield · 2024 年 11 月 14 日午後 8:12

UIにはまだ設定（バックアップ場所、頻度、S3バケットなど）が残っていると思いますが、以前のように機能していないだけです。

意図された機能変更ではなく、単に壊れているだけだと思いますか？

アップロードをS3に保存する必要なく、S3にバックアップすることは絶対に可能であるべきです。これらは、いくぶん連携していますが、2つの別々のユースケースです…

Al_Ni · 2024 年 11 月 14 日午後 9:36

同じ問題です
アップロードではなく、バックアップにS3を使用していました

pfaffman · 2024 年 11 月 14 日午後 11:02

それが何も壊すことになっていなかったからですが、s3コードは多くのエッジケースをサポートしなければならず、あなたがそのコードを書いたか、長年にわたるその開発に注意を払っていなければ、問題がどれほど大きいかを理解するのはかなり困難です。

martin · 2024 年 11 月 15 日午前 2:06

申し訳ありません、数日間体調不良で休んでいました。これで問題が解決するはずです。

github.com/discourse/discourse

FIX: Admin backups erroring because of S3 dualstack

main ← issue/fix-s3-backup-dualstack

opened 01:53AM - 15 Nov 24 UTC

martin-brennan

+30 -10

Followup 0568d36133081e52f25f05585c1a568c3b828d79 Followup 97cf069a061e350edfc5…310266e80e58532a39a4 Due to the S3 dualstack endpoint change, sites with S3 backups configured but _not_ S3 uploads were erroring, with admins unable to access the backups page. This commit fixes the error by not enabling S3 dualstack endpoints if S3 uploads have not been enabled, backups don't need to use them. c.f. https://meta.discourse.org/t/unable-to-backup-or-navigate-to-backups/335899

ローカルでS3アップロードを無効にし、修正の前後にS3バックアップを有効にしてテストしました。同じエラーを再現してから解決することができました。

omarfilip · 2024 年 11 月 15 日午前 3:42

正常に再構築され、バックアップされました。

@martin さん、ありがとうございます。

トピック		返信	表示
Rebuild issue: [Cannot set dual-stack in combination with a custom endpoint.] Bug s3 , fixed	15	296	2024 年 11 月 18 日
Intended path to migrate S3 to local Installation uploads , s3	5	786	2023 年 5 月 13 日
Forum rendered unusable Installation s3	10	821	2023 年 9 月 4 日
Restore process cancelled at migrating uploads to S3 step Support	25	2537	2021 年 4 月 24 日
No access to site after set S3 credentials Support	11	833	2020 年 4 月 4 日

バックアップまたはバックアップへの移動ができません

関連トピック