VMを再起動しました。`/admin/upgrade`ページが読み込めず、JSリクエストが失敗し、一部のアバター画像が404エラーになります

alxndr · 2021 年 9 月 14 日午前 1:17

背景情報：サイトは lot.almost-dead.net、バージョン 2.8.0.beta4、Google Cloud/Compute 上でホストされています。公式の Docker ベースのガイドに従ってセットアップしました（ブラウザのフロントエンド技術には精通しており、クラウドホスティングの概要も理解していますが、AWS には慣れており、Google には慣れていません）。

予備的な原因：VM インスタンスを停止し、その後再起動しました（Discourse に公開される環境変数を調整しようとしたため）。

VM が再起動し、サイトが復旧した際、JS アセットと一部のユーザーアバターがタイムアウトしていることに気づきました。管理パネルの「コミュニティの健全性」セクションが読み込まれません。スピナーが回転し続け、Chrome Dev Tools の「Network」タブでは /message-bus/.../poll リクエストがすべて失敗しています。「アップグレード」ページ（/admin/upgrade）はほぼ即座に失敗し、Chrome は ERR_FAILED コードを表示します。トピックを閲覧すると、POST リクエストが ERR_CONNECTION_REFUSED で失敗し、JavaScript による GET リクエストが ERR_FAILED で失敗します（これは、管理者アカウントのログインクッキーが設定されたブラウザからのものです）。

新しいブラウザインスタンスからサイトを読み込むと、Chrome の ERR_CONNECTION_REFUSED エラーが表示されます。

試したこと：

サーバーサイドの再構築 — sudo ./launcher rebuild app は成功したようですが、サイトの動作に変化はありませんでした。
- プラグインをコメントアウトして再構築しても、変化はありませんでした。
セーフモード — /safe-mode をリクエストすると、Chrome の ERR_FAILED ページが即座に表示されます。

ご提案はありますか？

IAmGav · 2021 年 9 月 14 日午前 5:39

試しましたか？

apt-get update
apt-get upgrade

その後、再ビルドしてみてください。

alxndr · 2021 年 9 月 14 日午前 7:13

さっき試してみましたが、以前と同じようです。

RGJ · 2021 年 9 月 14 日午前 7:30

いいえ、あなたのサイトは復旧していません。完全にダウンしています。あなたが確認しているのは一部キャッシュです。サイトを訪れたことがない人にとっては、全く応答しません。これはおそらくネットワークやファイアウォールのレベルの問題か、nginx が起動していないかクラッシュしていることが原因です。

alxndr · 2021 年 9 月 14 日午後 9:38

なるほど、理にかなっていますね。

sudo ./launcher enter app を実行すると、nginx が起動しているようです。

root@adn-prod-app:/var/www/discourse# ps aux | grep nginx
root       548  0.0  0.0   2156    64 ?        Ss   07:04   0:00 runsv nginx
root       558  0.0  0.1  55236  2524 ?        S    07:04   0:00 nginx: master process /usr/sbin/nginx
www-data   567  0.0  0.2  55996  5068 ?        S    07:04   0:00 nginx: worker process
www-data   568  0.0  0.0  55996  1628 ?        S    07:04   0:00 nginx: worker process
www-data   569  0.0  0.0  55792  1680 ?        S    07:04   0:00 nginx: cache manager process
root     23179  0.0  0.0   6140   884 pts/1    S+   21:23   0:00 grep nginx

Google Cloud のネットワークやファイアウォールの設定で何を確認すべきか、私はまだ十分に慣れていません。VM インスタンスに「http-server」と「https-server」というタグが付与されており、ファイアウォールシステムがこれらのタグを使用して、該当するインスタンスに「default-allow-http」と「default-allow-https」という組み込みルールを適用している点は確認しました。これは正しいように思えます。また、nslookup で使用しているサブドメインが Google の UI に表示されている外部 IP アドレスに解決されていることも確認できました。しかし、外部からは依然としてこのインスタンスにアクセスできません。

alxndr · 2021 年 9 月 14 日午後 11:01

/var/discourse/shared/standalone/log/rails/production.log に Redis への接続に関するエラーが表示されています。これを修復する方法はありますか？

Job exception: Error connecting to Redis on localhost:6379 (Errno::EADDRNOTAVAIL)
Job exception: Error connecting to Redis on localhost:6379 (Errno::EADDRNOTAVAIL)
Job exception: Error connecting to Redis on localhost:6379 (Errno::EADDRNOTAVAIL)
Job exception: Error connecting to Redis on localhost:6379 (Errno::EADDRNOTAVAIL)
Job exception: Error connecting to Redis on localhost:6379 (Errno::EADDRNOTAVAIL)
Job exception: Error connecting to Redis on localhost:6379 (Errno::EADDRNOTAVAIL)
Error connecting to Redis on localhost:6379 (Errno::EADDRNOTAVAIL) subscribe failed, reconnecting in 1 second. Call stack /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:384:in `rescue in establish_connection'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:365:in `establish_connection'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:117:in `block in connect'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:330:in `with_reconnect'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:116:in `connect'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:403:in `ensure_connected'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:255:in `block in process'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:342:in `logging'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:254:in `process'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis/client.rb:148:in `call'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/rack-mini-profiler-2.3.3/lib/mini_profiler/profiling_methods.rb:85 :in `block in profile_method'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis.rb:959:in `block in get'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis.rb:70:in `block in synchronize'
/usr/local/lib/ruby/2.7.0/monitor.rb:202:in `synchronize'
/usr/local/lib/ruby/2.7.0/monitor.rb:202:in `mon_synchronize'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis.rb:70:in `synchronize'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/redis-4.4.0/lib/redis.rb:958:in `get'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/message_bus-3.3.6/lib/message_bus/backends/redis.rb:361:in `process_global_backlog'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/message_bus-3.3.6/lib/message_bus/backends/redis.rb:269:in `block in global_subscribe'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/message_bus-3.3.6/lib/message_bus/backends/redis.rb:282:in `global_subscribe'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/message_bus-3.3.6/lib/message_bus.rb:781:in `global_subscribe_thread'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/message_bus-3.3.6/lib/message_bus.rb:729:in `block in new_subscriber_thread'
Job exception: Error connecting to Redis on localhost:6379 (Errno::EADDRNOTAVAIL)
Creating scope :open. Overwriting existing method Poll.open.

Benjamin_D · 2021 年 9 月 14 日午後 11:47

こんにちは、
これは少し遠回しな質問ですが、以前Redisのエラーを見た際、それはSSL証明書（おそらく不足していたもの）と何らかの関連があったように思えます（同じトピックとして）。
もしかすると ./launcher logs app が役立つかもしれません？

alxndr · 2021 年 9 月 14 日午後 11:52

ああ、ここにいくつかの nginx の警告があり、その後に「識別子が欠けているように見える」このメッセージが続いています：Reload error for :

$ sudo ./launcher logs app
run-parts: executing /etc/runit/1.d/00-ensure-links
run-parts: executing /etc/runit/1.d/00-fix-var-logs
run-parts: executing /etc/runit/1.d/01-cleanup-web-pids
run-parts: executing /etc/runit/1.d/anacron
run-parts: executing /etc/runit/1.d/cleanup-pids
Cleaning stale PID files
run-parts: executing /etc/runit/1.d/copy-env
run-parts: executing /etc/runit/1.d/letsencrypt
[Tue 14 Sep 2021 10:44:41 PM UTC] Domains not changed.
[Tue 14 Sep 2021 10:44:41 PM UTC] Skip, Next renewal time is: Tue Oct  5 00:05:09 UTC 2021
[Tue 14 Sep 2021 10:44:41 PM UTC] Add '--force' to force to renew.
[Tue 14 Sep 2021 10:44:42 PM UTC] Installing key to:/shared/ssl/lot.almost-dead.net.key
[Tue 14 Sep 2021 10:44:42 PM UTC] Installing full chain to:/shared/ssl/lot.almost-dead.net.cer
[Tue 14 Sep 2021 10:44:42 PM UTC] Run reload cmd: sv reload nginx
warning: nginx: unable to open supervise/ok: file does not exist
[Tue 14 Sep 2021 10:44:42 PM UTC] Reload error for :
[Tue 14 Sep 2021 10:44:42 PM UTC] Domains not changed.
[Tue 14 Sep 2021 10:44:42 PM UTC] Skip, Next renewal time is: Mon Oct  4 00:06:04 UTC 2021
[Tue 14 Sep 2021 10:44:42 PM UTC] Add '--force' to force to renew.
[Tue 14 Sep 2021 10:44:43 PM UTC] Installing key to:/shared/ssl/lot.almost-dead.net_ecc.key
[Tue 14 Sep 2021 10:44:43 PM UTC] Installing full chain to:/shared/ssl/lot.almost-dead.net_ecc.cer
[Tue 14 Sep 2021 10:44:43 PM UTC] Run reload cmd: sv reload nginx
warning: nginx: unable to open supervise/ok: file does not exist
[Tue 14 Sep 2021 10:44:43 PM UTC] Reload error for :
Started runsvdir, PID is 546
ok: run: redis: (pid 554) 0s
ok: run: postgres: (pid 560) 0s
chgrp: invalid group: 'syslog'
supervisor pid: 558 unicorn pid: 579
Shutting Down
run-parts: executing /etc/runit/3.d/01-nginx
ok: down: nginx: 1s, normally up
run-parts: executing /etc/runit/3.d/02-unicorn
(558) exiting
ok: down: unicorn: 0s, normally up
run-parts: executing /etc/runit/3.d/10-redis
ok: down: redis: 0s, normally up
run-parts: executing /etc/runit/3.d/99-postgres
ok: down: postgres: 0s, normally up
ok: down: nginx: 3s, normally up
ok: down: postgres: 1s, normally up
ok: down: redis: 2s, normally up
ok: down: cron: 0s, normally up
ok: down: unicorn: 2s, normally up
ok: down: rsyslog: 0s, normally up
run-parts: executing /etc/runit/1.d/00-ensure-links
run-parts: executing /etc/runit/1.d/00-fix-var-logs
run-parts: executing /etc/runit/1.d/01-cleanup-web-pids
run-parts: executing /etc/runit/1.d/anacron
run-parts: executing /etc/runit/1.d/cleanup-pids
Cleaning stale PID files
run-parts: executing /etc/runit/1.d/copy-env
run-parts: executing /etc/runit/1.d/letsencrypt
[Tue 14 Sep 2021 10:54:00 PM UTC] Domains not changed.
[Tue 14 Sep 2021 10:54:00 PM UTC] Skip, Next renewal time is: Tue Oct  5 00:05:09 UTC 2021
[Tue 14 Sep 2021 10:54:00 PM UTC] Add '--force' to force to renew.
[Tue 14 Sep 2021 10:54:00 PM UTC] Installing key to:/shared/ssl/lot.almost-dead.net.key
[Tue 14 Sep 2021 10:54:01 PM UTC] Installing full chain to:/shared/ssl/lot.almost-dead.net.cer
[Tue 14 Sep 2021 10:54:01 PM UTC] Run reload cmd: sv reload nginx
fail: nginx: runsv not running
[Tue 14 Sep 2021 10:54:01 PM UTC] Reload error for :
[Tue 14 Sep 2021 10:54:01 PM UTC] Domains not changed.
[Tue 14 Sep 2021 10:54:01 PM UTC] Skip, Next renewal time is: Mon Oct  4 00:06:04 UTC 2021
[Tue 14 Sep 2021 10:54:01 PM UTC] Add '--force' to force to renew.
[Tue 14 Sep 2021 10:54:01 PM UTC] Installing key to:/shared/ssl/lot.almost-dead.net_ecc.key
[Tue 14 Sep 2021 10:54:01 PM UTC] Installing full chain to:/shared/ssl/lot.almost-dead.net_ecc.cer
[Tue 14 Sep 2021 10:54:01 PM UTC] Run reload cmd: sv reload nginx
fail: nginx: runsv not running
[Tue 14 Sep 2021 10:54:01 PM UTC] Reload error for :
Started runsvdir, PID is 539
ok: run: redis: (pid 549) 0s
ok: run: postgres: (pid 555) 0s
chgrp: invalid group: 'syslog'
supervisor pid: 551 unicorn pid: 579
$

Benjamin_D · 2021 年 9 月 14 日午後 11:56

なぜか分かりませんが、これらが不足しているのでしょうか？

alxndr · 2021 年 9 月 14 日午後 11:58

アプリ内ではそれらを確認できます…

root@adn-prod-app:/var/www/discourse# ls -l /shared/ssl/
total 24
-rw-r--r-- 1 root root 5950 Sep 14 22:54 lot.almost-dead.net.cer
-rw-r--r-- 1 root root 5329 Sep 14 22:54 lot.almost-dead.net_ecc.cer
-rw------- 1 root root  302 Sep 14 22:54 lot.almost-dead.net_ecc.key
-rw------- 1 root root 3243 Sep 14 22:54 lot.almost-dead.net.key

alxndr · 2021 年 9 月 18 日午後 6:48

私の問題の原因は、VM が再起動した際に異なる IP アドレスで復帰し、新しいアドレスを指すように A レコードを変更する必要があったことでした。

サイトは復旧しました。お聞きいただきありがとうございました！

トピック		返信	表示
Redis Error after upgrade Self-hosting	14	1682	2020 年 7 月 3 日
Installed OK. Working fine for one day. Suddenly stopped working Self-hosting	14	2666	2018 年 6 月 20 日
Redis Problems? (Forum broken after upgrade) Self-hosting	34	3313	2021 年 12 月 24 日
An upgrade knocked my site offline; how long until it's restored? Self-hosting	16	352	2025 年 8 月 9 日
No errors, instance not coming back up after rebuild Self-hosting	18	1026	2023 年 4 月 7 日

VMを再起動しました。`/admin/upgrade`ページが読み込めず、JSリクエストが失敗し、一部のアバター画像が404エラーになります

関連トピック