バックアップが何度もS3へのアップロードに失敗しますが、最終的には成功します

S3へのバックアップは数年前から正常に動作していましたが、1ヶ月前から頻繁にバックアップの失敗通知が届くようになりました。その後リトライされ、約1時間後に再び失敗し、2回目の通知が届きます。これが1日に最大6回まで続くこともありますが、最終的には成功します。

通知のログには、圧縮されたtarファイルをS3にアップロードできないと記載されています。自分のS3アカウントでエラーは見つかりません。

details
summaryロ
最初の部分は正常に見えますが、次のようになっています:
[2025-05-20 07:11:38] バックアップの最終化…
[2025-05-20 07:11:38] アーカイブの作成中: 506-investor-group-2025-05-20-070428-v20250513161753.tar.gz
[2025-05-20 07:11:38] 既にアーカイブが存在しないことを確認中…
[2025-05-20 07:11:38] 空のアーカイブを作成中…
[2025-05-20 07:11:38] データダンプをアーカイブ…
[2025-05-20 07:12:17] アップロードをアーカイブ…
[2025-05-20 07:15:48] 一時ファイル ‘/var/www/discourse/tmp/backups/default/2025-05-20-070428’ ディレクトリを削除中…
[2025-05-20 07:15:48] アーカイブをgzip圧縮中、少し時間がかかる場合があります…
[2025-05-20 07:32:51] アーカイブをアップロード中

メモリ不足の可能性はありますか?その例外は、Sidekiq(自動バックアップを実行しているプログラム)がOSによって停止されるか、何らかの理由でクラッシュしていることを示しているようです。

Dockerコンテナを再構築してみましたか?(./launcher rebuild app)それで解決するかもしれません。

そうは思いません。サーバーは16GBのRAMを備えており、私たちのコミュニティにはオーバースペックです。topコマンドでは11GBの空きメモリが表示されており、手動でバックアップをトリガーしてもほとんど変化しません。

メモリ、kill、またはOOMに関する情報は、明日/var/log/syslogを確認します。(今日は無関係な冗長なログ記録があり、バックアップイベントがsyslogバッファからスクロールアウトしてしまうため、確認できません。)

はい、数日前に3.5.0.beta5-devにアップデートしましたが、問題は解決しません。

/logs にあります。この特定の警告はバックアップとは一致しませんでした。バックアップは夜間に行われるため、朝に確認します。しかし、Discourse が独自のメモリチェックを行っているとは知りませんでした。OOM killer を参照していると思っていました。Sidekiq で許可されるメモリサイズを増やすことはできますか?

Message

Sidekiq is consuming too much memory (using: 547.87M) for ‘ip-172-26-9-xxx-app’, restarting

Backtrace

/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:130:in block in warn' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in block in dispatch’
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in each' /var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:231:in dispatch’
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2.1/lib/active_support/broadcast_logger.rb:130:in warn' /var/www/discourse/lib/demon/sidekiq.rb:59:in block in rss_memory_check’
/var/www/discourse/lib/demon/sidekiq.rb:53:in each' /var/www/discourse/lib/demon/sidekiq.rb:53:in rss_memory_check’
config/unicorn.conf.rb:132:in `block (2 levels) in reload’

編集:これを見ました:

「いいね!」 1

実際、私はOOMキラーのことを指していました。Sidekiqにはメモリ制限があることを完全に忘れていました。Sidekiqのメモリを増やすことは役立ちましたか?

修正されたと思いますが、確実にするためにもう数回のきれいなナイトリーのバックアップを確認したいです。ここに投稿します。

「いいね!」 1

はい、修正されました。このトピックを閉じることができます。

「いいね!」 1