Bedeutet die Verwendung von S3 für Uploads, dass alle Dateien beim Erstellen von Backups erneut heruntergeladen werden müssen?

Hi, ich habe gerade ein neues Discourse-Forum eingerichtet und verfüge über einen Upload-Bucket auf S3.

Wenn Discourse beim Erstellen eines Backups alle Dateien komprimiert, bedeutet das dann, dass bei jedem Backup der gesamte S3-Upload-Bucket erneut heruntergeladen wird?

Und hat jemand bereits Probleme mit Bandbreitenbeschränkungen dabei festgestellt?

Ich denke, es bezieht sich auf lokale Dateien; Dateien in S3 sollten separat gesichert werden.

Dies tritt nur auf, wenn du die Site-Einstellung include_s3_uploads_in_backups aktivierst. Sie ist standardmäßig deaktiviert.

Diese Einstellung scheint auf meiner Website standardmäßig aktiviert zu sein. Aber unabhängig davon: Gibt es Empfehlungen, wie man S3-Upload-Buckets effizient sichern kann?

Dieser Leitfaden zum Speichern von Backups in S3 und gleichzeitigen Archivieren in Glacier ergibt Sinn, wenn das Backup eine einzelne ZIP-Datei ist. Mein Verständnis der Glacier-Kosten ist jedoch, dass pro Datei abgerechnet wird, sodass die Kosten für entpackte Bucket-Backups drastisch steigen werden.

Ich bin AWS-Neuling, daher wäre jeder Rat willkommen. Danke!

Edit: Alternativ könnte ich, falls es keine gute einfache Lösung gibt, in Erwägung ziehen, S3 nicht für Uploads zu verwenden.

https://iolap.com/2020/04/06/how-to-avoid-hidden-amazon-glacier-charges/

Das hängt von so vielen Faktoren ab. Wie viel Geld möchtest du investieren? Für welche Szenarien möchtest du Backups haben? Softwarefehler, Asteroideneinschläge in Amazon-Rechenzentren, ein böswilliger Administrator, der Dateien aus S3 löscht, …

Ich fürchte, wir können dir dabei nicht helfen. Du musst die Lösungen, die für deinen Anwendungsfall geeignet sind, woanders finden. Die Suchmaschine deiner Wahl ist ein guter Ausgangspunkt.

Ich habe mich etwas genauer erkundigt und mit Leuten gesprochen.

Ich glaube, mein bester Weg wird sein, den S3-Bucket in eine andere Region zu replizieren. Ich muss mich noch mehr über die Einrichtung und die Kosten informieren.

In unserem Fall nutzen wir bei einer Nicht-Discourse-Seite awscli, um Buckets (aws s3 sync) zwischen verschiedenen Regionen in verschiedenen Konten zu synchronisieren. Selbst wenn ein Konto kompromittiert und der Bucket gelöscht wird oder ein Asteroid ein Amazon-Rechenzentrum zerstört (hoffentlich nicht), können wir uns vom anderen Bucket wiederherstellen. Bei einer Synchronisierung sollten die Kosten nicht allzu hoch sein, da nur neue/geänderte Dateien synchronisiert werden.

Nun, es gibt immer noch den Fall, dass zwei Konten in kurzer Zeit kompromittiert und die Buckets gelöscht werden oder Amazon AWS schließt – beides sehr sehr unwahrscheinlich. Aber falls so etwas passiert, könnt ihr einfach im Lotto spielen und die Zahlen auswählen, von denen ihr denkt, dass sie falsch sind :slight_smile: