Discourse funktioniert nicht mehr – CPU/RAM-Auslastung?

Unterstützung
1

Hallo zusammen,

Ich hoffe, jemand kann mir helfen, ein Problem zu lösen, das wir derzeit auf unserem Forum haben: -
https://forum.combustionpunks.co.uk
Das ist eine lange Geschichte… aber ich möchte alle Informationen geben, die zur Lösung des Problems beitragen könnten, also bitte haben Sie etwas Geduld. Dabei werden Sie bemerken, dass ich nicht viel Erfahrung mit Ubuntu habe :frowning:

Alles lief seit geraumer Zeit problemlos :smiley: bis gestern Abend.
Wir führen gerade ein kleines Rebranding durch, aktualisierte Logos und ähnliches, also habe ich gestern im Admin-Bereich die neuen Logos hochgeladen. Außerdem habe ich festgestellt, dass wir einige Versionen veraltet waren, und habe daher die Updates durchgeführt. Ich musste sie manuell gemäß den Anweisungen hier durchführen: -

z. B.
cd /var/discourse
git pull
./launcher rebuild app

Alles schien gut zu laufen, die Updates waren abgeschlossen, die Logos wurden hochgeladen und angezeigt. Ich habe ein paar Themes ausprobiert, dann wieder zum Original zurückgekehrt und mich danach einer sozialen Veranstaltung rund um das Forum gewidmet… ja, ich war mit meinen Freunden in der Kneipe essen.

Etwa 30 Minuten später, während ich unterwegs war, stellten wir fest, dass das Forum offline war… ein kleiner Schreck, dann bemerkten wir, dass Digital Ocean Probleme hatte, also beruhigte ich mich.

Nach etwa 2 Stunden zurückgekehrt: Die DO-Probleme waren behoben, aber das Forum war immer noch offline… keine Sorge, ich habe den Droplet neu gestartet, und alles war wieder in Ordnung… etwa 30 Minuten später war es erneut offline…

Als Nächstes dachte ich, es wäre am besten, alle ausstehenden Updates zu erledigen, und versuchte daher, Docker mit folgendem Befehl zu aktualisieren:
wget -qO- https://get.docker.com/ | sh
Das schien jedoch nicht viel zu bewirken.
Ich habe die App neu aufgebaut: ./launcher rebuild app
Ich glaube nicht, dass es aktualisiert wurde, denn beim Neuaufbau der App wird angezeigt:
docker version 17.05.0-ce veraltet, und beim Ausführen von docker version wird 17.05.0-ce gemeldet.

Dann bemerkte ich, dass kurz bevor das Forum offline ging, folgende Meldungen erschienen:
Out of memory: kill process (convert) or sacrifice child
Out of memory: kill process (ruby) or sacrifice child

Ich habe Htop ausgeführt.

Viele Instanzen von Sidekiq. Ich habe einen Beitrag über die Reduzierung der Anzahl der gleichzeitig neu gerenderten Threads gefunden – von 80 auf 2 reduziert – die Probleme blieben jedoch bestehen.

Instanzen von „convert“, die gegen JPEGs in var/www/discourse/public/uploads/default/original/ laufen (ich weiß nicht, wie ich den Rest der Zeichenkette anzeigen kann, um zu sehen, gegen welche Bilder diese laufen).

CPU-Auslastung 100 % – Ruby var/www/discourse/vendor/bundle/ruby/2.6.0/bin/unicorn -E

Betriebssystem aktualisiert – jetzt läuft Ubuntu 18.04.
Docker ist immer noch auf 17.05.0-ce.

Der Droplet wurde von 2 GB 1 vCPU 50 GB (10 ) auf 3 GB 1 vCPU 50 GB (15 ) vergrößert.
Die Probleme bestehen weiterhin.

Ein Neustart des Droplets oder ein Neuaufbau von Discourse bringt es für kurze Zeit (10–30 Minuten) wieder zum Laufen, bevor es erneut offline geht.

Jede Hilfe dazu wäre sehr geschätzt. Vielen Dank im Voraus.
Matt

2

Vor einiger Zeit gab es einige Änderungen bei der Bildkomprimierung. Wahrscheinlich werden Sie gerade von der Bildverarbeitung stark beansprucht. Das sollte sich bald legen, aber wenn Sie viele Bilder haben, kann es eine Weile dauern. Sie können Folgendes ausführen:

  ps -ax

Oder

 top

Um zu sehen, was läuft. Drücken Sie q, um top zu beenden.

3

Danke @pfaffman, ich lasse es noch etwas laufen und schaue, ob es damit fertig wird und sich etwas beruhigt.

4

Sie haben die meisten der empfohlenen Fehlerbehebungsschritte durchgeführt, gut gemacht. Gibt es eine ganze Menge Bilder auf Ihrem Forum?

Ich rate Ihnen, Docker, sobald Sie die Möglichkeit haben, zu aktualisieren.

5

Und denk daran, nach dem Upgrade von Docker neu zu starten. Es gibt keine Warnung, und Docker hat bei mir gestern nach dem Upgrade nicht funktioniert, bis ich daran gedacht habe, neu zu starten.

6

Vielen Dank, Leute.

Das Problem besteht jedoch weiterhin :frowning: ruby /vazr/www/discourse/vendor/bundle/ruby/2.6.0/bin/unicorn -E belegt derzeit 98 % der CPU, das Forum ist nicht verfügbar.

Anzahl der Bilder – ich bin mir nicht sicher, wie man das beschreiben soll, aber es sind ziemlich viele, auch wenn wir kein riesiges Forum sind. df zeigt 80 % der 50 GB belegt an; im Discourse-Admin-Panel werden 5,7 GB Upload angezeigt.

Der Docker-Update-Befehl, den ich versucht habe, scheint nichts bewirkt zu haben. Ich habe Anleitungen zur Installation unter Ubuntu 18 gefunden, aber keine zur Aktualisierung. Sollte ich mich an die Installationsanweisungen halten?

Vor dem Neustart der Droplet heute Morgen waren keine Konvertierungsprozesse sichtbar. Nach dem Neustart laufen nun 5 solcher Prozesse, die jeweils etwa 50 % der CPU und des RAM belegen. Der Rest wird von Ruby und Sidekiq-Prozessen belegt, die zeitweise Ressourcen verbrauchen. Prozessor und RAM werden ständig voll ausgelastet.

Konvertierungsprozesse werden weiterhin wegen Speichermangel beendet.

Glaubt ihr, es gibt noch eine Warteschlange an ausstehenden Aufgaben? Würde eine weitere Vergrößerung der Droplet helfen, diese Warteschlange abzubauen? Das Forum bleibt nur bis zu 30 Minuten online, oft sogar kürzer.

7

Es ist mir nicht gelungen, dies zu lösen. Ich erhöhe die Droplet-Größe, um zu sehen, ob damit die Bildgröße geändert werden kann, falls das der Vorgang ist.

8

Stellen Sie nach dem Ändern der Größe sicher, dass Sie discourse-setup ausführen, um die Speicherparameter anzupassen und neu zu erstellen (oder zu zerstören und neu zu starten).