Erhöhte CPU-Auslastung seit Upgrade auf 3.4.0.beta4-dev (58f75ed205)

Unterstützung
1

Seit dem Upgrade an diesem Wochenende habe ich eine deutliche Zunahme der CPU-Auslastung festgestellt. Die CPU-Auslastung von RUBY scheint der Hauptgrund zu sein. Dies wurde von einem anderen Discourse-Benutzer in diesem Thema erwähnt.

Wie Sie den untenstehenden Grafiken entnehmen können, waren die CPU-Auslastung und die Last vor dem Upgrade viel niedriger als nach dem Upgrade. Das Upgrade fand am Abend des 31.01. statt.

Das Bild zeigt Grafiken, die die CPU- und Lastprozentzahl vom 27. Januar bis 2. Februar darstellen. (Beschriftet von der KI)
Das Bild zeigt Grafiken, die die CPU- und Lastprozentzahl vom 27. Januar bis 2. Februar darstellen. (Beschriftet von der KI)985×619 68.1 KB

Hier sind zwei Bilder von TOP, die im Abstand von 33 Stunden aufgenommen wurden:

TOP-Daten vom 01.02. um 13:00 Uhr CT
TOP-Daten vom 01.02. um 13:00 Uhr CT689×219 9.92 KB

TOP-Daten vom 02.02. um 21:45 Uhr CT.
TOP-Daten vom 02.02. um 21:45 Uhr CT.649×192 8.48 KB

In 33 Stunden gibt es eine erhebliche Ruby-CPU-Auslastung. Basierend auf den Top-Daten habe ich in den letzten 33 Stunden eine 2-fache CPU-Auslastung über 22 Tage festgestellt. In 33 Stunden habe ich 11 Stunden CPU-Zeit gesehen. (648 Minuten CPU-Zeit über 5 PIDs)

Zusätzliche Daten:

  • Der Traffic ist in den letzten zwei Tagen um etwa 10% zurückgegangen. (Analysen und Dashboard)
  • Standard-Single-Container-Discourse-Installation (kein Chat)
  • Sidekiq-Warteschlangen sind minimal (1K bis 2K pro Tag)
  • In den Discourse-Protokollen scheint nichts Ungewöhnliches zu sein
  • Ich betreibe einen DO-Server mit 8 GB RAM und 2 AMD vCPUs.

Dies ist kein Fall, in dem der Server kritisch ausfällt, aber Server, die mit 5% bis 7% laufen, sind viel besser als solche, die mit 25% laufen.

Welche Informationen kann ich zur Unterstützung der Fehlerbehebung bei diesem Problem bereitstellen?

tia

3 „Gefällt mir“
2

Lassen Sie uns dies vorerst im Support belassen, bis wir feststellen, ob es sich um einen Fehler handelt.

Können Sie den Container betreten und von innen einen htop ausführen (Sie müssen ihn installieren), damit Sie erkennen können, welcher spezifische Prozess eine hohe CPU-Auslastung verursacht?

Sie können etwas mehr Einblick erhalten, indem Sie eine Technik wie diese verwenden: Debugging 100% CPU usage in production Ruby on Rails systems

Höchstwahrscheinlich ist jedoch Sidekiq /sidekiq auf Ihrer Instanz irgendwie überlastet. (Ich würde besonders den Scheduler prüfen)

3

htop Ansichten.

Hier ist ein 30 Sekunden langes Video:

Zufällige Screenshots:

Das Bild zeigt eine Prozessliste oder einen Task-Manager eines Unix-ähnlichen Systems, der verschiedene laufende Prozesse anzeigt, mit Schwerpunkt auf mehreren Instanzen von 'unicorn worker'-Prozessen, und spezifische Details wie Benutzer-ID, Prozess-ID, Priorität, CPU, Speichernutzung und geschätzte Laufzeit liefert. (Beschriftet von KI)
Das Bild zeigt eine Prozessliste oder einen Task-Manager eines Unix-ähnlichen Systems, der verschiedene laufende Prozesse anzeigt, mit Schwerpunkt auf mehreren Instanzen von 'unicorn worker'-Prozessen, und spezifische Details wie Benutzer-ID, Prozess-ID, Priorität, CPU, Speichernutzung und geschätzte Laufzeit liefert. (Beschriftet von KI)1140×852 98.8 KB

Dieses Bild zeigt die Ausgabe von Prozess- und CPU-Auslastung eines Unix-ähnlichen Systems, mit mehreren Worker-Prozessen, die mit Chrome, Javascript und Redis verbunden sind, zusammen mit Details wie PID, Benutzer und Prozent CPU-Auslastung. (Beschriftet von KI)
Dieses Bild zeigt die Ausgabe von Prozess- und CPU-Auslastung eines Unix-ähnlichen Systems, mit mehreren Worker-Prozessen, die mit Chrome, Javascript und Redis verbunden sind, zusammen mit Details wie PID, Benutzer und Prozent CPU-Auslastung. (Beschriftet von KI)1139×860 99.7 KB

Dieses Bild ist ein Screenshot der Prozessliste eines Unix-Systems, der verschiedene Prozesse anzeigt, hauptsächlich im Zusammenhang mit einem Redis-Server, mit Details wie PID, Benutzer, Priorität, VIRT und anderen systemspezifischen Informationen. (Beschriftet von KI)
Dieses Bild ist ein Screenshot der Prozessliste eines Unix-Systems, der verschiedene Prozesse anzeigt, hauptsächlich im Zusammenhang mit einem Redis-Server, mit Details wie PID, Benutzer, Priorität, VIRT und anderen systemspezifischen Informationen. (Beschriftet von KI)1153×878 101 KB

Dieses Bild ist ein Screenshot eines Kommandozeilenterminals eines Unix-ähnlichen Betriebssystems, das die Ausgabe eines laufenden "discourse"-Prozesses mit verschiedenen Prozessdetails, Systeminformationen und ausgeführten Befehlen anzeigt. (Beschriftet von KI)
Dieses Bild ist ein Screenshot eines Kommandozeilenterminals eines Unix-ähnlichen Betriebssystems, das die Ausgabe eines laufenden "discourse"-Prozesses mit verschiedenen Prozessdetails, Systeminformationen und ausgeführten Befehlen anzeigt. (Beschriftet von KI)1134×505 59.4 KB

Baumansicht:

Das Bild zeigt einen Abschnitt von Serverprotokollen mit Zeitstempeln, Befehlen und Benutzeraktionen, zusammen mit wiederholten Zeilen in grüner und roter Textfarbe, die Prozesse wie "sdekiq" und "unicorn worker" in Interaktion mit "discourse" und zugehörigen Konfigurationsbefehlen anzeigen. (Beschriftet von KI)
Das Bild zeigt einen Abschnitt von Serverprotokollen mit Zeitstempeln, Befehlen und Benutzeraktionen, zusammen mit wiederholten Zeilen in grüner und roter Textfarbe, die Prozesse wie "sdekiq" und "unicorn worker" in Interaktion mit "discourse" und zugehörigen Konfigurationsbefehlen anzeigen. (Beschriftet von KI)1151×674 104 KB

Das Bild zeigt einen Screenshot eines Linux-Systems, das den top-Befehl verwendet und Prozesse und Systemmetriken anzeigt. (Beschriftet von KI)
Das Bild zeigt einen Screenshot eines Linux-Systems, das den top-Befehl verwendet und Prozesse und Systemmetriken anzeigt. (Beschriftet von KI)1150×879 119 KB

sidekiq:

Dieses Bild ist ein Screenshot eines Warteschlangenverwaltungs-Dashboards, das eine verarbeitete Anzahl, einige fehlgeschlagene Bilder und Warteschlangen mit detaillierten Informationen wie Auslastung, Eingereiht, Wiederholungsversuche, Geplant und Tote Bilder anzeigt, zusammen mit einer Löschaktion für jede Warteschlange. (Beschriftet von KI)
Dieses Bild ist ein Screenshot eines Warteschlangenverwaltungs-Dashboards, das eine verarbeitete Anzahl, einige fehlgeschlagene Bilder und Warteschlangen mit detaillierten Informationen wie Auslastung, Eingereiht, Wiederholungsversuche, Geplant und Tote Bilder anzeigt, zusammen mit einer Löschaktion für jede Warteschlange. (Beschriftet von KI)1189×428 43.8 KB

Das Liniendiagramm zeigt den Fortschritt einer Bildbeschriftungsaufgabe über mehrere Tage, markiert durch vertikale Marker, die fehlgeschlagene Versuche zu verschiedenen Zeiten anzeigen. (Beschriftet von KI)
Das Liniendiagramm zeigt den Fortschritt einer Bildbeschriftungsaufgabe über mehrere Tage, markiert durch vertikale Marker, die fehlgeschlagene Versuche zu verschiedenen Zeiten anzeigen. (Beschriftet von KI)1203×296 50.5 KB

Dieses Bild zeigt ein Server-Panel für einen Prozess namens "discourse-app:817", der mit 0% Auslastung und 461 MB RSS läuft und mit den bereitgestellten Schaltflächen angehalten oder gestoppt werden kann. (Beschriftet von KI)
Dieses Bild zeigt ein Server-Panel für einen Prozess namens "discourse-app:817", der mit 0% Auslastung und 461 MB RSS läuft und mit den bereitgestellten Schaltflächen angehalten oder gestoppt werden kann. (Beschriftet von KI)1229×537 73.1 KB

Lassen Sie mich wissen, ob es etwas Bestimmtes gibt, das Sie sehen müssen. Ich

2 „Gefällt mir“
4

Ja, etwas stimmt nicht:

top -H -p PID_DES_EINHORN

Ein Screenshot, der die Ausgabe eines Top-Befehls zeigt, der Systemressourcen und Prozesse angibt, mit 367 Threads, die überwiegend einen Ruby- oder colourer-2480-Prozess ausführen, und einer größtenteils freien, aber genutzten RAM-Auslastung. (Beschriftet von KI)
Ein Screenshot, der die Ausgabe eines Top-Befehls zeigt, der Systemressourcen und Prozesse angibt, mit 367 Threads, die überwiegend einen Ruby- oder colourer-2480-Prozess ausführen, und einer größtenteils freien, aber genutzten RAM-Auslastung. (Beschriftet von KI)1242×610 102 KB

Ich vermute, Sie werden dort V8 DefaultWorker sehen. Ich glaube, das ist eine Regression in mini_racer… Ich werde es zurücksetzen, um zu sehen, ob das dieses Problem löst.

1 „Gefällt mir“
5

OK, das ist jetzt zurückgesetzt,

Lassen Sie mich wissen, ob der Commit die Leistung wiederherstellt.

6 „Gefällt mir“
6

Ja, es hat das Problem mit der hohen CPU-Auslastung behoben. Meine 1-Minuten- und 5-Minuten-Last beträgt etwa 1/3 der vorherigen Werte. Das ist mit htop und netdata, die jetzt auf dem System laufen.

HTOP-Video

Lastauslastungsdiagramm

Das Bild zeigt zwei Liniendiagramme, die den CPU-Prozentsatz und die Auslastung (1/5/15) über verschiedene Zeitintervalle darstellen, wobei verschiedene Linien unterschiedliche Auslastungen (0,100, 1,000, 15,000 und 50,150) darstellen. (Beschriftet von KI)
Das Bild zeigt zwei Liniendiagramme, die den CPU-Prozentsatz und die Auslastung (1/5/15) über verschiedene Zeitintervalle darstellen, wobei verschiedene Linien unterschiedliche Auslastungen (0,100, 1,000, 15,000 und 50,150) darstellen. (Beschriftet von KI)988×553 28.2 KB

Ich würde erwarten, dass die CPU-Auslastung und die Last langsam abnehmen, da mehr Datenbankabfragen im System zwischengespeichert werden.

Lasttabelle:

Zeit Vor der Korrektur Nach der Korrektur
1 Minute 0,4 bis 0,6 0,06 bis 0,1
5 Minuten 0,39 bis 0,5 0,15 bis 0,18

Die 15-Minuten-Metrik wird durch einen Wiederaufbau beeinträchtigt. Ich werde heute Morgen weitere Statistiken posten.

Vielen Dank für die nächtliche Korrektur.

3 „Gefällt mir“
7

Entschuldigung, das Mini_Racer-Upgrade war ein großes Abenteuer. Hoffentlich sind wir bald durch.

3 „Gefällt mir“
8

Vielen Dank für die schnelle Reaktion zur Untersuchung.
Ich bin sicher, Sie hatten andere Pläne für den Tag als ein Rollback.
Als neuer Discourse-Benutzer, 2 Wochen seit der Migration, war das Produkt großartig zu bearbeiten.

2 „Gefällt mir“
9

Ähnliche Geschichte auch hier.

Das Bild zeigt ein detailliertes Diagramm mit zwei Diagrammen: Das obere Diagramm ist ein farbenfrohes Liniendiagramm, das die CPU-Auslastung im Zeitverlauf zeigt, hervorgehoben mit einem signifikanten Spitzenwert am 27. Januar, markiert mit einer CPU-Auslastung von 2,03 %, daneben das untere Diagramm, das die Systemauslastung in einem Liniendiagrammformat anzeigt, mit vernachlässigbaren... (Beschriftet von KI)
Das Bild zeigt ein detailliertes Diagramm mit zwei Diagrammen: Das obere Diagramm ist ein farbenfrohes Liniendiagramm, das die CPU-Auslastung im Zeitverlauf zeigt, hervorgehoben mit einem signifikanten Spitzenwert am 27. Januar, markiert mit einer CPU-Auslastung von 2,03 %, daneben das untere Diagramm, das die Systemauslastung in einem Liniendiagrammformat anzeigt, mit vernachlässigbaren... (Beschriftet von KI)2208×1234 295 KB

[Bearbeiten: Scheint jetzt behoben zu sein, nachdem auf den neuesten Branch aktualisiert wurde]

10

Hier ist eine Leistungsbewertung 18 Stunden nach dem Neuaufbau. Die Lasttabelle sagt alles.

Lasttabelle:

Zeit Vor der Korrektur Nach der Korrektur
1 min 0,4 bis 0,6 0,03 bis 0,05
5 min 0,39 bis 0,5 0,09
15 min 0,68 0,12

Legende:

  • Roter Pfeil - App neu aufgebaut
  • Lila Pfeil - Netdata ausgeschaltet

Das Bild zeigt zwei Graphen: einen mit einem roten Pfeil, der eine hohe CPU-Auslastung anzeigt, und einen anderen mit einem lila Pfeil, der Spitzenlasten zeigt, die beide zu unterschiedlichen Zeiten des Tages auftreten. (Beschriftet von KI)
Das Bild zeigt zwei Graphen: einen mit einem roten Pfeil, der eine hohe CPU-Auslastung anzeigt, und einen anderen mit einem lila Pfeil, der Spitzenlasten zeigt, die beide zu unterschiedlichen Zeiten des Tages auftreten. (Beschriftet von KI)984×551 54.8 KB

11

Hinweis, um den Kreis zu schließen, der verursachende Fehler war dieser:

Ich habe das Gem aktualisiert. Ein unmittelbarer Vorteil ist, dass diese Version von v8 anscheinend etwas weniger Speicher verbraucht, was gut ist.

6 „Gefällt mir“
12

Ich habe gestern Abend die neueste Version mit dem Fix installiert. Die CPU-Auslastung ist wieder auf dem historischen Niveau.

Vielen Dank für die großartige Arbeit.

1 „Gefällt mir“
13

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.