Usare S3 per gli upload significa scaricare di nuovo tutti i file quando si creano i backup?

Ciao, ho appena configurato un nuovo Discourse e ho un bucket di caricamenti su S3.

Ma se Discourse comprime tutti i file durante la creazione di un backup, significa che ogni volta che viene creato un backup, Discourse riscarica l’intero bucket di caricamenti su S3?

E qualcuno ha avuto problemi con i limiti di banda nel farlo?

Penso che si riferisca ai file locali; i file su S3 dovrebbero essere salvati separatamente.

Ciò accadrà solo quando abiliti l’impostazione del sito include_s3_uploads_in_backups. È disabilitata per impostazione predefinita.

Quella impostazione sembra essere abilitata di default sul mio sito web. Tuttavia, indipendentemente da ciò, ci sono raccomandazioni su come eseguire il backup in modo efficiente dei bucket di caricamento S3?

Questa guida per salvare i backup su S3 e archiviarli anche su Glacier ha senso quando il backup è un singolo file zip. Ma la mia comprensione dei costi di Glacier è che vengono addebitati per file, quindi i costi aumenteranno drasticamente per i backup dei bucket non compressi.

Sono un principiante di AWS, quindi qualsiasi consiglio è apprezzato. Grazie!

Modifica: in alternativa, se non esiste una risposta semplice e valida, potrei valutare di non utilizzare S3 per i caricamenti.

https://iolap.com/2020/04/06/how-to-avoid-hidden-amazon-glacier-charges/

Dipende da molti fattori. Quanto denaro sei disposto a spendere? Per quali scenari desideri avere i backup? Bug del software, data center di Amazon colpiti da un asteroide, un amministratore malintenzionato che cancella file da S3…

Temo non possiamo aiutarti in questo. Devi trovare soluzioni adatte al tuo caso d’uso altrove. Il motore di ricerca di tua scelta è un buon punto di partenza.

Ho fatto ulteriori ricerche e parlato con alcune persone.

Credo che la mia migliore opzione sia replicare il bucket S3 in un’altra regione. Devo fare ulteriori ricerche su configurazione e costi.

Nel nostro caso, con un sito non basato su Discourse, utilizziamo awscli per sincronizzare i bucket (aws s3 sync) tra regioni diverse e account diversi, in modo che, anche se un account viene compromesso e il bucket eliminato, o se un asteroide colpisce e distrugge un data center Amazon (speriamo di no), possiamo recuperare dall’altro bucket. Se esegui una sincronizzazione, i costi non dovrebbero essere troppo elevati perché verranno sincronizzati solo i file nuovi o modificati.

Tuttavia, rimane il caso in cui entrambi gli account vengano compromessi in un breve lasso di tempo e i bucket eliminati, o che Amazon chiuda AWS, entrambi eventi molto molto improbabili. Ma se qualcosa del genere accadesse, potresti semplicemente giocare alla lotteria, scegliendo i numeri che pensi siano sbagliati :slight_smile: