Migration von Uploads von S3 zu lokal

Unterstützung Installation
1

Ich möchte meine Dateien von S3 zurück auf den lokalen Server migrieren. Ich übertrage alle Dateien manuell vom S3 in den uploads-Ordner. Reicht es dann aus, die Basis-URL der Upload-Links zurück auf die Basis-URL des Forums zu ändern, um die Aufgabe abzuschließen?

2 „Gefällt mir“
2

Why aren’t you using the built-in rake task? afaik it’s called uploads:migrate_from_s3

cd /var/discourse
./launcher enter app
rake uploads:migrate_from_s3

Then disable the enable s3 uploads site setting:

And finally rebake:

rake posts:rebake
4 „Gefällt mir“
3

Because my s3 is minio and I’m not sure if this function is compatible with it or not.

1 „Gefällt mir“
4

I tried this and after it was done, I didnt see any change in uploads. Still uploads are served from s3. btw the rake task was wierd to me. It ended so fast while I have thousnds of s3 uploads. It shouldve taked a while.

1 „Gefällt mir“
5

I have all my uploads transferred to local manually. Is there something that I can do to change all of the links in database and posts directly? I don’t need to use this rake task.

1 „Gefällt mir“
6

Hast du das schon geklärt? Ich möchte auch alle Assets (alles außer Backups) von S3 zurück auf den lokalen Speicher migrieren. Gibt es dafür eine einfache Möglichkeit?

3 „Gefällt mir“
7

Ich suche ebenfalls nach einer ähnlichen Option. Aber ich habe irgendwo auf dieser sehr Site gelesen, dass dafür einige große Probleme zuerst gelöst werden müssen. Daher empfehlen sie vorerst, S3 nicht auf lokal zu verlagern.

Dennoch warte ich auch gespannt auf die Lösung dieses Problems.

4 „Gefällt mir“
8

Es gibt eine versteckte Site-Einstellung mit einem Namen wie ‘S3-Uploads bei Backup lokal herunterladen’. Ich denke, du kannst diese nutzen, um auf einen anderen Server wiederherzustellen (oder vielleicht auf deinen eigenen Server, wenn du die Einstellungen mit überlagerten Site-Einstellungen in Umgebungsvariablen änderst). Das ist genau das, was cdck macht, wenn sie ein Konto schließen, und ich hatte nie Probleme, eine ihrer Backups wiederherzustellen.

5 „Gefällt mir“
9

Ich habe diese Einstellung in der Rails-Konsole gesetzt: SiteSetting.include_s3_uploads_in_backups = true. Aber es scheint immer noch keine Wirkung zu haben. Die Sicherung hatte immer noch dieselbe Größe (ca. 375 MB, obwohl meine Uploads etwa 700 MB bis 1 GB betragen).

Falls du mit „verdeckten Site-Einstellungen“ alle S3-Site-Einstellungen im Disco-Web-UI meinst, dann habe ich alle diese Einstellungen in den entsprechenden Feldern ausgefüllt.

2 „Gefällt mir“
10

Ich plane ebenfalls, meine Uploads von S3 auf einen lokalen Server (separate VPS) zu migrieren. Gibt es dafür eine dokumentierte Vorgehensweise?

1 „Gefällt mir“
11

Nicht wirklich. Ich würde die oben beschriebene Einstellung ausprobieren.

1 „Gefällt mir“
12

Gibt es eine Möglichkeit, diese versteckten Einstellungen zu finden?

2 „Gefällt mir“
13

Diejenige, die du im Kontext dieser Diskussion möglicherweise brauchst, wurde oben erwähnt. Du kannst sie alle in der Datei site_settings.yml im Discourse-Quellcode einsehen.

3 „Gefällt mir“
14

Diese Rake-Aufgabe ist in 2.9.0 BETA 8 nicht mehr verfügbar.

Hat jemand Ideen, wie man von S3 zu lokal migriert?

1 „Gefällt mir“
15

Sie können die versteckte Website-Einstellung aktivieren, die ungefähr download_s3_with_backups heißt (das ist nicht ganz richtig, aber ich kann sie gerade nicht auf meinem Handy finden) und dann dieses Backup wiederherstellen. Das passiert, wenn Sie cdck Hosting verlassen, und es funktioniert. Möglicherweise müssen Sie auf einen anderen Server wiederherstellen (und das würden Sie sowieso zum Testen tun).

Bearbeiten: Danke @Benjamin_D! Es ist include_s3_uploads_in_backups

2 „Gefällt mir“
16

Ich glaube, das ist es:

4 „Gefällt mir“
17

Ist diese Option nicht auf der Seite „Einstellungen“ in den Steuerelementen der Admin-Website verfügbar, auf der Seite „Backup-Einstellungen“? Ist das nicht auch das Gegenteil des Herunterladens der S3-Dateien?

image
image1170×1884 225 KB

1 „Gefällt mir“
18

Nein.

backup_with_uploads ist nicht dasselbe wie include_s3_uploads_in_backups. Das eine schließt lokale Dateien in das Backup ein. Das andere lädt jede einzelne Datei von S3 herunter, jedes Mal, wenn Sie ein Backup erstellen. Und der eigentliche Sinn von S3 ist, dass Sie keine Backups davon erstellen müssen.

3 „Gefällt mir“
19

Beinhaltet dies lokale Dateien bei der Sicherung auf S3?

Dies lädt Dateien aus dem S3-Speicher herunter, um sie in das Backup aufzunehmen (welches lokal oder auf S3 sein kann).

Ich versuche, die richtigen Schritte hier zu verstehen. Das Ziel ist es, alle Dateien von S3 auf lokal zu migrieren. Wenn ich also richtig verstehe, was Sie sagen:

  1. Aktivieren Sie backup_with_uploads über die Rails-Konsole
  2. Erstellen Sie ein Backup (entweder lokal oder auf S3)
  3. Stellen Sie mit dem Backup wieder her
  4. Deaktivieren Sie backup_with_uploads über die Rails-Konsole

Ist das richtig?

1 „Gefällt mir“
20

Also, was ist der beste Ansatz, um von S3 zu lokal zu wechseln? :slight_smile:

  • Die Dateien manuell verschieben (optimierte/originale Ordner) und nach dem Deaktivieren der S3-Option von Discourse einen Post-Rebake durchführen?
  • Die beschattete Admin-Option download_s3_with_backups verwenden, diese Dateien herunterladen und entpacken?
  • rake uploads:migrate_from_s3?
1 „Gefällt mir“