Backup-Upload zu S3 schlägt auf Scaleway fehl (Multipart-Upload)

markersocial · 30. Januar 2021 um 10:53

Laufend auf 2.6.1 stable mit einem S3-Klon (Scaleway). Hier ist das Log:

[2021-01-30 09:52:59] Archiv wird hochgeladen...
[2021-01-30 09:55:36] AUSNAHME: Fehler beim Abbrechen des Multipart-Uploads: Der angegebene Multipart-Upload existiert nicht. Die Upload-ID könnte ungültig sein, oder der Multipart-Upload wurde bereits abgebrochen oder abgeschlossen.
[2021-01-30 09:55:36] /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:94:in `rescue in abort_upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:82:in `abort_upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:78:in `upload_parts'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:51:in `upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/file_uploader.rb:38:in `upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/customizations/object.rb:342:in `upload_file'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:39:in `upload_file'
/var/www/discourse/lib/backup_restore/backuper.rb:301:in `upload_archive'
/var/www/discourse/lib/backup_restore/backuper.rb:41:in `run'
/var/www/discourse/script/spawn_backup_restore.rb:9:in `backup'
/var/www/discourse/script/spawn_backup_restore.rb:34:in `block in <main>'
/var/www/discourse/script/spawn_backup_restore.rb:4:in `fork'
/var/www/discourse/script/spawn_backup_restore.rb:4:in `<main>'
[2021-01-30 09:55:36] Alte Backups werden gelöscht...
[2021-01-30 09:55:36] Aufräumen...
[2021-01-30 09:55:36] Archiv aus dem lokalen Speicher entfernen...
[2021-01-30 09:55:36] '.tar'-Reste entfernen...
[2021-01-30 09:55:36] Backup als abgeschlossen markieren...
[2021-01-30 09:55:36] Festplattenstatistiken aktualisieren...

Ich habe die gleiche Konfiguration auf einigen anderen Servern, und die Backups funktionieren einwandfrei (obwohl die Backup-Größen deutlich kleiner sind, sodass Multipart-Uploads wahrscheinlich keine Rolle spielen). Es scheint, dass sie auch Multipart-Uploads unterstützen: Managing multipart uploads | Scaleway Documentation – daher bin ich mir nicht sicher, was das Problem ist.

Freez · 11. Februar 2021 um 14:23

Bei mir das Gleiche, mit Scaleway S3

Mein erstes Backup ist vor 9 Tagen fehlgeschlagen:

EXCEPTION: multipart upload failed:
Your request was not formed properly;
Your request was not formed properly

Danach, alle ein oder zwei Tage:

EXCEPTION: failed to abort multipart upload:
The specified multipart upload does not exist.
The upload ID might be invalid, or
the multipart upload might have been aborted or completed.

@Falco, was können wir tun, um herauszufinden, was los ist?
Vielen Dank

Falco · 11. Februar 2021 um 14:26

Ich habe gestern darauf geantwortet. Kontaktiere Scaleway.

Freez · 19. Februar 2021 um 16:33

Erledigt.
Ihr Support benötigt jedoch noch weitere Informationen
Sie benötigen eine Auflistung der Teile, um zu prüfen, ob wir für jedes Teil eine Antwort oder eine Fehlermeldung erhalten.

Gibt es eine Möglichkeit, das Logging (HTTP-Anfragen?) in den AWS-Gems zu aktivieren?

Vielen Dank

Falco · 19. Februar 2021 um 17:17

Das ist ihr Glückstag, da Discourse quelloffen ist, können sie genau sehen, was passiert!

Die Backtrace zeigt, dass der Fehler von

kommt, und zwar

github.com/discourse/discourse

lib/backup_restore/s3_backup_store.rb

main


      
          end
          
          def delete_file(filename)
            obj = s3_helper.object(filename)
          
            if obj.exists?
              obj.delete
              reset_cache
            end
          end
          
          def download_file(filename, destination_path, failure_message = nil)
            s3_helper.download_file(filename, destination_path, failure_message)
          end
          
          def upload_file(filename, source_path, content_type)
            obj = s3_helper.object(filename)
            raise BackupFileExists.new if obj.exists?
          
            obj.upload_file(source_path, content_type: content_type)
            reset_cache

Dies ist ein Aufruf dieser Methode im SDK:

Laut Dokumentation wird standardmäßig ein MultiPart-Upload verwendet, wenn eine Datei größer als 15 MB ist.

Beim Betrachten des Quellcodes scheint diese Methode verwendet zu werden:

github.com/aws/aws-sdk-ruby

gems/aws-sdk-s3/lib/aws-sdk-s3/multipart_file_uploader.rb

version-3


      
              abort_upload(upload_id, options, errors)
            end
          end
          
          def abort_upload(upload_id, options, errors)
            @client.abort_multipart_upload(bucket: options[:bucket], key: options[:key], upload_id: upload_id)
            msg = "multipart upload failed: #{errors.map(&:message).join('; ')}"
            raise MultipartUploadError.new(msg, errors)
          rescue MultipartUploadError => e
            raise e

Und Zeile 74 verursacht einen Fehler.

Freez · 16. März 2021 um 17:35

Es funktioniert wieder, ohne Änderungen
7 von 10 sind jetzt erfolgreich

Falco · 16. März 2021 um 17:50

Tolle Neuigkeiten. Das Gute an der Implementierung nach der de-facto-S3-Spezifikation ist, dass sie die Fehler auf ihrer Seite beheben und wir keine Änderungen vornehmen müssen.

markersocial · 18. März 2021 um 08:07

Leider bekomme ich immer noch denselben Fehler
Hoffentlich wurden die Reparaturen noch nicht vollständig ausgerollt.

Freez · 23. März 2021 um 09:20

Backup-Prozess jetzt zu 100 % erfolgreich!
Problem für mich „abgeschlossen“.

Thema		Antworten	Aufrufe
If backup to s3 upload fails, backup is stored locally but ignores the backup limit Bug	3	507	28. April 2021
Occasional backup to S3 failure: "multipart upload failed: no tomes available" Self-hosting backups , s3	0	335	5. Dezember 2023
Using Scaleway s3-compatible object storage Support	27	4068	6. April 2021
Backups to Cloudflare R2 fail during multipart upload with aws-sdk-s3 1.182.0 (undefined method 'downcase' for nil) Bug	3	50	4. April 2026
Cannot upload or backup to Amazon S3 Self-hosting backups , s3	4	2155	9. Januar 2024

Backup-Upload zu S3 schlägt auf Scaleway fehl (Multipart-Upload)

Verwandte Themen