Zu viele Oneboxen in Antworten überlasten unseren Discourse-Server

Mein Forum ist: Bildung.
Eine große Anzahl von Lesern (Schülern) hat Onebox erstellt.
Dadurch ist unser Server-CPU überlastet; die Website zeigt zwei Fehler an: 502 Bad Gateway und 504 Gateway Time-out, sodass der Zugriff auf die Website nicht möglich ist.
Ich suche nach einer Lösung: Verringern Sie die Häufigkeit (verlangsamen Sie die Geschwindigkeit) der Onebox-Erstellung in Discourse (Onebox wird weiterhin generiert, aber die Zeit für die Erstellung aufeinanderfolgender Oneboxes wird länger).
Wenn wir die Erstellungsdauer von Oneboxes verlängern können, wird unsere Server-CPU nicht überlastet.
Vielen Dank.

Am einfachsten ist es wahrscheinlich, den Arbeitsspeicher und/oder die CPU auf deinem Server zu erhöhen. Welche Server-Spezifikationen hast du? Wie viele Beiträge werden täglich erstellt?

Eine große Anzahl von Studierenden erstellt viele Oneboxes; wir haben etwa 10.000 Studierende.
Ich habe mir ebenfalls Lösungen überlegt: CPU und RAM erhöhen.
Allerdings lag bei unseren CPU-Tests die Auslastung im Durchschnitt zwischen 25 und 45 %. Zu bestimmten Zeiten kommt es bei unserem Discourse-Server zu einer CPU-Überlastung, wodurch unser Website nicht mehr erreichbar ist.
Daher suchte ich nach einer anderen Lösung.
Jay Pfaffman, vielen Dank!!!

Hast du die Speicherparameter nach der Anpassung des Speichers geändert? Es klingt so, als wäre die Datenbank dein Flaschenhals. Es gibt einige Themen zur Optimierung großer Server. Dort solltest du suchen.

Du kannst die Sidekiq-Warteschlange überprüfen und sehen, ob diese Jobs eventuell in eine Warteschlange mit niedrigerer Priorität gehören, aber ich denke, die Optimierung der Datenbank ist wahrscheinlich der richtige Ansatz.

Wir haben auch das gleiche Problem, Sidekiq (low) läuft schnell, was dazu führt, dass unser Discourse nicht auf die Website zugreifen kann.
Gibt es eine Möglichkeit, die Sidekiq-Frequenz (low) anzupassen?

Ich denke, Ihre Optionen sind, CPU und RAM hinzuzufügen oder die Anzahl der Links zu begrenzen, die Benutzer erstellen können.

Mein Problem ist fast ähnlich,

Wie kann man in Sidekiq die Häufigkeit der Sidekiq-Ausführung reduzieren?
Bilder unten:

Wir möchten die Häufigkeit der Ausführung von Low in Sidekiq reduzieren.
Da Low in Sidekiq zu schnell läuft (hohe Frequenz), verursacht dies Website-Fehler, Leser können die Website nicht besuchen (502, 504).
Ich möchte Sidekiq spezifizieren: Sidekiq (Low) darf nur mit wie vielen Anfragen/Sekunde ausgeführt werden?
Können Sie mir dabei helfen?

Für mich sind CPU und RAM nicht hoch.
Bei meinem Sidekiq läuft Low (sidekiq) zu schnell. Die Website fällt aus.

Soweit ich weiß, ist Sidekiq nicht anpassbar.

Mit den Zahlen, die Sie zeigen, würde ich Ihnen empfehlen, Ihren Server mit mehr Arbeitsspeicher und Prozessen aufzurüsten.

Betrachtet man die Sidekiq-Produkt-Feature-Tabelle, fallen zwei Dinge auf:

  • Die kostenlose OSS-Basisstufe, die mit Discourse gebündelt ist, bietet nicht:

    1. Ratenbegrenzung (was Sie meiner Meinung nach suchen?)
    2. Batches (die Sie verwenden könnten, um Arbeiten außerhalb von Stoßzeiten für diese Jobs zu erledigen, die Sie aufschieben könnten)

Daher denke ich, dass Sie sich die Hardwareseite ansehen müssen.

Es wäre jedoch interessant zu wissen, ob einige Websites auf Pro upgraden könnten und wie viel Arbeit damit verbunden wäre (ist es nur das Hinzufügen eines Lizenzschlüssels?). Vielleicht hat das schon jemand versucht?

Das Pro-Produkt ist mit 99 /Monat jedoch nicht billig. Spricht das für eine deutlich höhere Investition in Hardware? Selbst 50 /Monat könnten eine signifikante Hardware-Aufrüstung ermöglichen? Wie viel geben Sie derzeit aus?

Wenn Sie das Pro-Produkt mit Discourse nutzen möchten, kann Pavilion Ihnen dabei helfen, aber diese Beratung wäre ebenfalls kostenpflichtig.

Dann gibt es natürlich noch die Möglichkeit, jemanden mit dem Hosting zu beauftragen, der all diese Herausforderungen übernimmt.

Ich denke, Sie werden Ihr Budget erheblich erhöhen müssen, um das System so zu betreiben, wie Sie es sich wünschen.

Können Sie einige Daten bereitstellen? Wie viele Oneboxen pro Antwort, wie viele Antworten pro Thema und wie viele Oneboxen insgesamt pro Thema?