Backup Upload su S3 fallisce su scaleway (multipart upload)

markersocial · 30 Gennaio 2021, 10:53am

Esecuzione su versione 2.6.1 stabile con un clone S3 (Scaleway). Ecco il log:

[2021-01-30 09:52:59] Caricamento dell'archivio...
[2021-01-30 09:55:36] ECCEZIONE: impossibile annullare il caricamento multipart: il caricamento multipart specificato non esiste. L'ID di caricamento potrebbe non essere valido, oppure il caricamento multipart potrebbe essere stato annullato o completato.
[2021-01-30 09:55:36] /var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:94:in `rescue in abort_upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:82:in `abort_upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:78:in `upload_parts'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/multipart_file_uploader.rb:51:in `upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/file_uploader.rb:38:in `upload'
/var/www/discourse/vendor/bundle/ruby/2.7.0/gems/aws-sdk-s3-1.83.2/lib/aws-sdk-s3/customizations/object.rb:342:in `upload_file'
/var/www/discourse/lib/backup_restore/s3_backup_store.rb:39:in `upload_file'
/var/www/discourse/lib/backup_restore/backuper.rb:301:in `upload_archive'
/var/www/discourse/lib/backup_restore/backuper.rb:41:in `run'
/var/www/discourse/script/spawn_backup_restore.rb:9:in `backup'
/var/www/discourse/script/spawn_backup_restore.rb:34:in `block in <main>'
/var/www/discourse/script/spawn_backup_restore.rb:4:in `fork'
/var/www/discourse/script/spawn_backup_restore.rb:4:in `<main>'
[2021-01-30 09:55:36] Eliminazione dei vecchi backup...
[2021-01-30 09:55:36] Pulizia dei file temporanei...
[2021-01-30 09:55:36] Rimozione dell'archivio dall'archiviazione locale...
[2021-01-30 09:55:36] Rimozione dei residui '.tar'...
[2021-01-30 09:55:36] Segnalazione del backup come completato...
[2021-01-30 09:55:36] Aggiornamento delle statistiche del disco...

Ho la stessa configurazione su alcuni altri server e i backup funzionano correttamente (sebbene le dimensioni dei backup siano significativamente più piccole, quindi è probabile che il caricamento multipart non sia un fattore). Sembra che supportino anche i caricamenti multipart: Managing multipart uploads | Scaleway Documentation - quindi non sono sicuro di quale sia il problema.

Freez · 11 Febbraio 2021, 2:23pm

Stessa cosa per me, con Scaleway S3

Il mio primo backup è fallito 9 giorni fa:

ECCEZIONE: caricamento multipart fallito:
La tua richiesta non è stata formulata correttamente;
La tua richiesta non è stata formulata correttamente

Poi, ogni uno o due giorni:

ECCEZIONE: annullamento caricamento multipart fallito:
Il caricamento multipart specificato non esiste.
L'ID di caricamento potrebbe non essere valido, oppure
il caricamento multipart potrebbe essere stato annullato o completato.

@Falco, cosa possiamo fare per capire cosa sta succedendo?
Grazie

Falco · 11 Febbraio 2021, 2:26pm

Ho risposto a questo ieri. Contatta Scaleway.

Freez · 19 Febbraio 2021, 4:33pm

Fatto
Ma il loro supporto ha bisogno di ulteriori informazioni
Necessitano di un elenco delle parti, per verificare se otteniamo una risposta o un messaggio di errore per ciascuna di esse.

Esiste un modo per abilitare il logging (richieste HTTP?) nei gem di AWS?

Grazie

Falco · 19 Febbraio 2021, 5:17pm

È la loro giornata di fortuna, dato che Discourse è open source: possono vedere esattamente cosa sta succedendo!

Lo stack trace indica che l’errore proviene da

ovvero da

github.com/discourse/discourse

lib/backup_restore/s3_backup_store.rb

main


      
          end
          
          def delete_file(filename)
            obj = s3_helper.object(filename)
          
            if obj.exists?
              obj.delete
              reset_cache
            end
          end
          
          def download_file(filename, destination_path, failure_message = nil)
            s3_helper.download_file(filename, destination_path, failure_message)
          end
          
          def upload_file(filename, source_path, content_type)
            obj = s3_helper.object(filename)
            raise BackupFileExists.new if obj.exists?
          
            obj.upload_file(source_path, content_type: content_type)
            reset_cache

che è una chiamata a questo metodo nell’SDK:

Secondo la documentazione, di default viene utilizzato un upload MultiPart quando il file supera i 15 MB.

Osservando il codice sorgente, sembra che venga utilizzato questo metodo:

github.com/aws/aws-sdk-ruby

gems/aws-sdk-s3/lib/aws-sdk-s3/multipart_file_uploader.rb

version-3


      
              abort_upload(upload_id, options, errors)
            end
          end
          
          def abort_upload(upload_id, options, errors)
            @client.abort_multipart_upload(bucket: options[:bucket], key: options[:key], upload_id: upload_id)
            msg = "multipart upload failed: #{errors.map(&:message).join('; ')}"
            raise MultipartUploadError.new(msg, errors)
          rescue MultipartUploadError => e
            raise e

e la riga 74 genera un errore.

Freez · 16 Marzo 2021, 5:35pm

Funziona di nuovo, senza alcuna modifica
7 su 10 hanno avuto successo ora

Falco · 16 Marzo 2021, 5:50pm

Ottima notizia. Il vantaggio di implementare in base alla specifica S3 de facto è che risolvono il problema dal loro lato e non sono necessarie modifiche da parte nostra.

markersocial · 18 Marzo 2021, 8:07am

Purtroppo mi sta ancora dando lo stesso errore
Spero che non abbiano ancora completato il rollout delle correzioni.

Freez · 23 Marzo 2021, 9:20am

Processo di backup ora al 100% di successo!
Problema “chiuso” per me.

Argomento		Risposte	Visualizzazioni
If backup to s3 upload fails, backup is stored locally but ignores the backup limit Bug	3	507	Aprile 28, 2021
Occasional backup to S3 failure: "multipart upload failed: no tomes available" Self-hosting backups , s3	0	335	Dicembre 5, 2023
Using Scaleway s3-compatible object storage Support	27	4068	Aprile 6, 2021
Backups to Cloudflare R2 fail during multipart upload with aws-sdk-s3 1.182.0 (undefined method 'downcase' for nil) Bug	3	50	Aprile 4, 2026
Cannot upload or backup to Amazon S3 Self-hosting backups , s3	4	2155	Gennaio 9, 2024

Backup Upload su S3 fallisce su scaleway (multipart upload)

Argomenti correlati