Migration alter Uploads zu S3

Unterstützung Installation
1

Während meine neuen Uploads ordnungsgemäß auf Amazon S3 hochgeladen werden, schlägt dieser Befehl beim Verschieben der alten Dateien vom lokalen Speicher nach S3 fehl:

DISCOURSE_S3_BUCKET="bucketname" DISCOURSE_S3_REGION="ap-south-1" DISCOURSE_S3_ACCESS_KEY_ID="AKIchangedabitUNM2" DISCOURSE_S3_SECRET_ACCESS_KEY="rX6Pf3C_changedabit_YKKtdVrnbw6B" DISCOURSE_S3_CDN_URL="https://bucketname.s3.ap-south-1.amazonaws.com" rake uploads:migrate_to_s3

Vor 15 Tagen funktionierte dieser Befehl einwandfrei.
Heute erhalte ich diesen Fehler:

Prüfe, ob die Standardmigration bereits durchgeführt wurde...
7 von 14 Uploads wurden nicht nach S3 migriert. Die S3-Migration für die Datenbank 'default' ist fehlgeschlagen.
1 Beitrag wurde nicht auf die neue S3-Upload-URL umgemappt. Die S3-Migration für die Datenbank 'default' ist fehlgeschlagen.
Suche nach fehlenden Uploads auf: default

0 Beitrags-Uploads fehlen.

Keine Beiträge müssen neu verarbeitet werden.
Migriere Uploads zu S3 für 'default'...
Einige Uploads wurden nicht auf das neue Schema migriert. Bitte führen Sie diese Befehle in der Rails-Konsole aus:

SiteSetting.migrate_to_new_scheme = true
Jobs::MigrateUploadScheme.new.execute(nil)

Ich habe diese beiden Befehle auch in der Rails-Konsole ausgeführt, aber sie scheinen keinen Nutzen gebracht zu haben:

SiteSetting.migrate_to_new_scheme = true
Jobs::MigrateUploadScheme.new.execute(nil)

Hinweis: Meine Uploads sind so konfiguriert, dass sie sich in einem Unterordner des Buckets bucketname/uploads befinden.

2

Hast du hier eine Idee, @vinothkannans?

3

Werden Fehler zurückgegeben? Ich kann keine größeren Änderungen im Code der Rake-Aufgabe uploads:migrate_to_s3 in der jüngeren Vergangenheit erkennen.

4

Ich hatte ein ähnliches Problem. Es lag daran, dass der Pfad der Uploads nicht mit dem übereinstimmte, was dieser Test erwartet (z. B. fehlt ‘default’ im Pfad von etwas).

Was ich getan habe (in groben und wahrscheinlich wenig hilfreichen Worten), war zu prüfen, was die Suche tut, um diese Uploads zu finden, die sie als fehlerhaft ansieht, und sie dann zu beheben.

5

Ich habe es zufällig gelöst, und zwar auf eine Weise, bei der ich immer noch nicht sicher bin, wie es funktioniert hat.

Ich habe den Befehl ein paar Mal geändert, indem ich hauptsächlich das Wort „dualstack

6

Welcher Fehler auch immer aufgetreten bzw. angezeigt wurde, habe ich bereits in meinem ursprünglichen Beitrag erwähnt. Ich stimme jedoch zu, dass diese Fehlermeldung bei der Diagnose nicht sehr hilfreich war.

Leider habe ich heute erneut gedacht, da ich das Problem bei der Migration nicht verstand, ich erstelle lokal einen Upload. Dann versuchte ich, diesen erneut mit diesem Befehl auf S3 zu verschieben:

DISCOURSE_S3_BUCKET="bxyzbucket1/uploads" DISCOURSE_S3_REGION="ap-south-1" DISCOURSE_S3_ACCESS_KEY_ID="AKIAchangedBRF" DISCOURSE_S3_SECRET_ACCESS_KEY="H0P6Oo8changed1AuLkRDCQK8" DISCOURSE_S3_CDN_URL="https://bxyzbucket1.s3.ap-south-1.amazonaws.com/uploads" rake uploads:migrate_to_s3

Obwohl der eine neue Upload auf S3 verschoben wurde, trat dabei dieser Fehler auf:

1 von 14 Uploads wurde nicht auf S3 migriert. Die S3-Migration für die Datenbank 'default' ist fehlgeschlagen.
1 Beitrag wurde nicht auf die neue S3-Upload-URL remapped. Die S3-Migration für die Datenbank 'default' ist fehlgeschlagen.

Was bedeutet dieser Fehler? Könnte dies ein Problem darstellen, wenn Tausende von Bildern von ‘Lokal >> S3’ verschoben werden müssen? @vinothkannans

7

Könntest du bitte den folgenden Befehl in der Rails-Konsole ausführen und die Ausgabe hier posten?

Upload.by_users.where("url NOT LIKE '//%' AND url NOT LIKE '#{GlobalSetting.relative_url_root}/uploads/default/original/_X/%'")
8

Entschuldigung, dass ich mich eine Weile nicht um diese Angelegenheit gekümmert habe.
Ich führe den von dir gesendeten Rails-Befehl aus, aber es kommt keine Ausgabe:

image
image1221×161 10.3 KB

Ich erhalte weiterhin den Fehler: „S3-Migration für die Datenbank ‘default’ fehlgeschlagen“.
Obwohl Beiträge hochgeladene Bilder in meinem Bucket und auf der Seite korrekt angezeigt werden, fehlen die Site-Logos usw. (unter Admin-Einstellungen > Branding). Ich kann sie auch nicht durch neue ersetzen. Sie bleiben einfach leer.

Ich habe außerdem (ohne Fehler) ausgeführt: rake posts:rebake_uncooked_posts und rake posts:rebake

10

@vinothkannans Selbst nach einem Jahr, wenn ich den Vorgang aus irgendeinem Grund wiederhole, tritt immer noch derselbe Fehler auf.