3.4.0.beta4-dev ( 58f75ed205 ) アップグレード以来、CPU使用率が増加

サポート
1

この週末のアップグレード以降、CPU使用率が大幅に増加しました。RUBYのCPU使用率が主な原因となっているようです。これは、他のDiscourseユーザーがこのトピックで言及していました。

下のグラフからわかるように、アップグレード前のCPU使用率とロードは、アップグレード後よりもはるかに低かったです。アップグレードは1月31日の夜に行われました。

The image shows graphs depicting CPU and Load percentage from 27 January to 2 February. (Captioned by AI)
The image shows graphs depicting CPU and Load percentage from 27 January to 2 February. (Captioned by AI)985×619 68.1 KB

以下は、33時間間隔で取得したTOPの2つの画像です。

TOP data from 2/1 @ 1:00pm CT
TOP data from 2/1 @ 1:00pm CT689×219 9.92 KB

TOP data from 2/2 @ 9:45pm CT.
TOP data from 2/2 @ 9:45pm CT.649×192 8.48 KB

33時間で、かなりのRuby CPU使用量があります。TOPデータに基づくと、過去33時間で22日間の2倍のCPU使用率を観測しました。33時間で、11時間のCPU時間（5つのPIDにわたる648分間のCPU時間）を観測しました。

追加データ：

  • トラフィックは過去2日間で約10％減少しました。（分析とダッシュボード）
  • 標準的な単一コンテナのDiscourseインストール（チャットなし）
  • Sidekiqキューは最小限です（1日あたり1Kから2K）。
  • Discourseログに異常は見られません。
  • DOサーバーで8GB RAMと2つのAMD vCPUで実行しています。

サーバーがクリティカルにダウンしているわけではありませんが、5％から7％で実行されているサーバーは、25％で実行されているサーバーよりもはるかに良好です。

この問題のトラブルシューティングに役立つ情報はありますか？

よろしくお願いします。

「いいね！」 3
2

バグかどうか判明するまで、しばらくサポートに残しておきましょう。

コンテナに入り、内部から htop を実行してください（インストールが必要です）。そうすれば、どの特定のプロセスが高CPUを消費しているか特定できます。

このようなテクニックを使用すると、もう少し詳細な情報を得ることができます: Debugging 100% CPU usage in production Ruby on Rails systems

しかし、最も可能性が高いのは、インスタンスで Sidekiq /sidekiq が過負荷になっていることです。（特にスケジューラを確認することをお勧めします）

3

htop のビュー。

こちらは30秒のビデオです:

ランダムなスクリーンショット:

画像は、Unixライクなシステムのプロセスリストまたはタスクマネージャーを表示しており、複数の「unicorn worker」プロセスのインスタンスに焦点を当て、ユーザーID、プロセスID、優先度、CPU、メモリ使用量、推定実行時間などの詳細情報を提供しています。（AIによるキャプション付き）
画像は、Unixライクなシステムのプロセスリストまたはタスクマネージャーを表示しており、複数の「unicorn worker」プロセスのインスタンスに焦点を当て、ユーザーID、プロセスID、優先度、CPU、メモリ使用量、推定実行時間などの詳細情報を提供しています。（AIによるキャプション付き）1140×852 98.8 KB

画像は、UnixライクなシステムのプロセスとCPU使用率の出力を表示しており、PID、ユーザー、CPU使用率などの詳細とともに、Chrome、javascript、Redisに関連する複数のワーカープロセスを特徴としています。（AIによるキャプション付き）
画像は、UnixライクなシステムのプロセスとCPU使用率の出力を表示しており、PID、ユーザー、CPU使用率などの詳細とともに、Chrome、javascript、Redisに関連する複数のワーカープロセスを特徴としています。（AIによるキャプション付き）1139×860 99.7 KB

画像は、Redisサーバーに関連するさまざまなプロセス、PID、ユーザー、優先度、VIRTなどの詳細情報が表示されたUnixシステムのプロセスリストのスクリーンショットです。（AIによるキャプション付き）
画像は、Redisサーバーに関連するさまざまなプロセス、PID、ユーザー、優先度、VIRTなどの詳細情報が表示されたUnixシステムのプロセスリストのスクリーンショットです。（AIによるキャプション付き）1153×878 101 KB

画像は、Unixライクなオペレーティングシステムのコマンドラインターミナルのスクリーンショットで、「discourse」プロセスが実行されており、さまざまなプロセス詳細、システム情報、実行されたコマンドが表示されています。（AIによるキャプション付き）
画像は、Unixライクなオペレーティングシステムのコマンドラインターミナルのスクリーンショットで、「discourse」プロセスが実行されており、さまざまなプロセス詳細、システム情報、実行されたコマンドが表示されています。（AIによるキャプション付き）1134×505 59.4 KB

ツリービュー:

画像は、タイムスタンプ、コマンド、ユーザーアクションを含むサーバーログの一部と、「sdekiq」や「unicorn worker」などのプロセスが「discourse」および関連設定コマンドとやり取りしていることを示す緑と赤のテキストの繰り返し行を示しています。（AIによるキャプション付き）
画像は、タイムスタンプ、コマンド、ユーザーアクションを含むサーバーログの一部と、「sdekiq」や「unicorn worker」などのプロセスが「discourse」および関連設定コマンドとやり取りしていることを示す緑と赤のテキストの繰り返し行を示しています。（AIによるキャプション付き）1151×674 104 KB

画像は、プロセスとシステムメトリクスを表示するtopコマンドを使用したLinuxシステムのスクリーンショットです。（AIによるキャプション付き）
画像は、プロセスとシステムメトリクスを表示するtopコマンドを使用したLinuxシステムのスクリーンショットです。（AIによるキャプション付き）1150×879 119 KB

sidekiq:

画像は、処理済みカウント、いくつかの失敗した画像、およびビジー度、エンキュー済み、リトライ、スケジュール済み、デッドなどの詳細情報を持つキューが表示されたキュー管理ダッシュボードのスクリーンショットで、各キューには削除アクションが付いています。（AIによるキャプション付き）
画像は、処理済みカウント、いくつかの失敗した画像、およびビジー度、エンキュー済み、リトライ、スケジュール済み、デッドなどの詳細情報を持つキューが表示されたキュー管理ダッシュボードのスクリーンショットで、各キューには削除アクションが付いています。（AIによるキャプション付き）1189×428 43.8 KB

折れ線グラフは、数日間にわたる画像キャプションタスクの進行状況を示しており、さまざまな時点で失敗した試行を示す垂直マーカーが付いています。（AIによるキャプション付き）
折れ線グラフは、数日間にわたる画像キャプションタスクの進行状況を示しており、さまざまな時点で失敗した試行を示す垂直マーカーが付いています。（AIによるキャプション付き）1203×296 50.5 KB

画像は、「discourse-app:817」という名前のプロセスが0%の使用率、461 MBのRSSで実行されているLinuxシステムのサーバーパネルのスクリーンショットで、提供されているボタンを使用して一時停止または停止できます。（AIによるキャプション付き）
画像は、「discourse-app:817」という名前のプロセスが0%の使用率、461 MBのRSSで実行されているLinuxシステムのサーバーパネルのスクリーンショットで、提供されているボタンを使用して一時停止または停止できます。（AIによるキャプション付き）1229×537 73.1 KB

何か特定の情報が必要な場合はお知らせください。

「いいね！」 2
4

何かおかしいですね。

top -H -p PID_OF_UNICORN

システムリソースとプロセスを示すtopコマンドの出力、367スレッド、主にrubyまたはcolourer-2480プロセスを実行、RAM使用量はほとんど空きだが使用中であることを示すトップコマンド出力のスクリーンショット。（AIによるキャプション）
システムリソースとプロセスを示すtopコマンドの出力、367スレッド、主にrubyまたはcolourer-2480プロセスを実行、RAM使用量はほとんど空きだが使用中であることを示すトップコマンド出力のスクリーンショット。（AIによるキャプション）1242×610 102 KB

V8 DefaultWorker が表示されると思います。mini_racer のリグレッションだと思います…これを元に戻して解決するかどうか確認します。

「いいね！」 1
5

これで元に戻されました。

コミットでパフォーマンスが回復するかどうか教えてください。

「いいね！」 6
6

はい、CPU使用率の高い問題は解決しました。1分および5分間の負荷は、以前の値の約1/3になりました。これは、htopとnetdataがシステムで実行されている状態での値です。

HTOP動画

グラフ

The image shows two line graphs depicting CPU percentage and load (1/5/15) over various time intervals, with different lines representing different loads (0.100, 1.000, 15.000, and 50.150). (Captioned by AI)
The image shows two line graphs depicting CPU percentage and load (1/5/15) over various time intervals, with different lines representing different loads (0.100, 1.000, 15.000, and 50.150). (Captioned by AI)988×553 28.2 KB

データベースクエリがシステムにキャッシュされるにつれて、CPU使用率と負荷は徐々に低下すると予想されます。

負荷表：

時間 修正前 修正後
1分 0.4～0.6 0.06～0.1
5分 0.39～0.5 0.15～0.18

15分間の指標は再構築の影響を受けています。今朝遅くにさらに統計情報を投稿します。

深夜の修正、ありがとうございました。

「いいね！」 3
7

申し訳ありませんが、mini_racer のアップグレードは大変な冒険でした。近いうちに乗り越えられることを願っています。

「いいね！」 3
8

迅速な調査対応ありがとうございます。

本日はロールバック以外の予定があったことと存じます。

Discourseの新規ユーザーとして、移行から2週間経ちましたが、この製品は非常に使いやすいです。

「いいね！」 2
9

こちらも同様のストーリーです。

The image displays a detailed graph with two charts: the upper chart is a colorful line graph showing CPU usage over time, highlighted with a significant peak on January 27th, marked with CPU usage of 2.03%, alongside the lower chart indicating system load in a line graph format, featuring negligible... (Captioned by AI)
The image displays a detailed graph with two charts: the upper chart is a colorful line graph showing CPU usage over time, highlighted with a significant peak on January 27th, marked with CPU usage of 2.03%, alongside the lower chart indicating system load in a line graph format, featuring negligible... (Captioned by AI)2208×1234 295 KB

[編集：最新ブランチに更新した後、現在は修正されたようです]

10

再構築から18時間後のパフォーマンスレビューです。ロードテーブルがすべてを物語っています。

ロードテーブル：

時間 修正前 修正後
1分 0.4～0.6 0.03～0.05
5分 0.39～0.5 0.09
15分 0.68 0.12

凡例：

  • 赤い矢印 - アプリを再構築
  • 紫色の矢印 - netdataをオフにした

The image shows two graphs: one with a red arrow indicating high CPU usage and another with a purple arrow showing spikes in load, both occurring at different times during the day. (Captioned by AI)
The image shows two graphs: one with a red arrow indicating high CPU usage and another with a purple arrow showing spikes in load, both occurring at different times during the day. (Captioned by AI)984×551 54.8 KB

11

追伸、この件は解決しました。原因となったバグは以下の通りです。

gemを更新しました。すぐにわかった利点は、このバージョンのv8はメモリ使用量がわずかに少ないようで、これは良いことです。

「いいね！」 6
12

修正を適用するために、昨晩最新のリリースをインストールしました。CPU使用率は過去の水準に戻りました。

素晴らしい仕事をしていただきありがとうございます。

「いいね！」 1
13

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.