Entfernen Sie lokale Uploads nach S3-Migration

Unterstützung
1

Ich habe kürzlich Dateien nach S3 (Contabo Objektspeicher) verschoben Configure an S3 compatible object storage provider for uploads - #474 by tumbano

aber alte lokale Dateien wurden nicht entfernt. Soweit ich gelesen habe, sollte dies automatisch geschehen (ich habe „Clean orphan uploads“ auf 1 Stunde und „Purge deleted uploads grace period“ auf 1 Tag eingestellt), aber es funktioniert nicht. Außerdem gibt es diesen Job „Jobs::CleanUpUploads“ in Sidekiq, der als FAILED markiert ist.

Gibt es eine Möglichkeit, die Dateien sicher zu löschen oder den Job über die Befehlszeile auszuführen?

3

Ich habe auch ein ähnliches Problem. Alle meine Uploads sind in meinem Bucket, aber auch auf meinem Server im gemeinsamen Verzeichnis :thinking:

Ich habe gerade ein neues Website-Backup als Test erstellt und es sowohl im gemeinsamen Verzeichnis als auch im S3-Bucket abgelegt.

4

Okay, das Backup legt den Ordner „Lokale Uploads“ immer noch in das Archiv, auch wenn es sagt, dass es das nicht tut.

5

Ich erinnere mich, dass es am Ende des Migrationsprozesses einen Fehler gab, dass einige Dateien nicht übertragen wurden. Es war mir egal, ob ein paar Bilder von über 80.000 fehlten, aber wer weiß, vielleicht hat Discourse es doch bemerkt, also habe ich heute etwas ausprobiert, das ich in einem anderen Thema gefunden habe und

cd /var/discourse
./launcher enter app
VERBOSE=1 rake posts:missing_uploads

Das Ergebnis war, dass es 2 Beiträge mit jeweils einem fehlenden Bild gab und mir die genauen Links angezeigt wurden, also habe ich die Beiträge bearbeitet. Nachdem ich den Befehl erneut ausgeführt hatte, gab es diesmal keine fehlenden Dateien.
Mit etwas Hoffnung habe ich dann versucht, rake uploads:migrate_to_s3 erneut auszuführen, leider ohne Erfolg. So endet es

Aktualisiere die URLs in der Datenbank...
Entferne alte optimierte Bilder...
Markiere alle Beiträge mit Lightboxen zum erneuten Rendern...
16163 Beiträge wurden zum erneuten Rendern markiert
rake abgebrochen!
FileStore::ToS3MigrationError: 4 Beiträge wurden nicht auf die neue S3-Upload-URL umgemappt. S3-Migration fehlgeschlagen für db 'default'. (FileStore::ToS3MigrationError)
/var/www/discourse/lib/file_store/to_s3_migration.rb:132:in `raise_or_log'
/var/www/discourse/lib/file_store/to_s3_migration.rb:81:in `migration_successful?'
/var/www/discourse/lib/file_store/to_s3_migration.rb:383:in `migrate_to_s3'
/var/www/discourse/lib/file_store/to_s3_migration.rb:59:in `migrate'
/var/www/discourse/lib/tasks/uploads.rake:126:in `migrate_to_s3'
/var/www/discourse/lib/tasks/uploads.rake:106:in `block in migrate_to_s3_all_sites'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:36:in `each_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `each_connection'
/var/www/discourse/lib/tasks/uploads.rake:104:in `migrate_to_s3_all_sites'
/var/www/discourse/lib/tasks/uploads.rake:100:in `block in <main>'
/usr/local/bin/bundle:25:in `load'
/usr/local/bin/bundle:25:in `<main>'
Tasks: TOP => uploads:migrate_to_s3