Migration de BackBlaze B2 vers Digital Ocean Spaces

Bonjour,

Je suis un peu confus face à cette situation pour le moment. Nous avons un bucket BackBlaze B2 pour les uploads (images + assets), combiné avec BunnyCDN. Le stockage B2 Cloud ne prend pas en charge les tombstones. Nous avons donc beaucoup d’images et de scripts inutilisés. Maintenant, je souhaite migrer ces uploads vers Digital Ocean Spaces avec la même configuration BunnyCDN, en changeant simplement l’URL d’origine vers DO.

Nous avons utilisé ce guide excellent pour configurer B2 Cloud Storage. Nous souhaitons maintenant passer à la version DO.


Quelle est la meilleure pratique pour effectuer cette migration ? Nous avons environ 10 Go d’uploads. B2 propose une fonctionnalité de snapshot, mais elle est très lente. Le code de console rake uploads:migrate_from_s3 télécharge d’abord tout depuis S3, puis nous devons reconstruire les publications, ce qui est également un processus très lent à cause des images. Après cette étape, nous pouvons tout télécharger vers DO Spaces. Est-ce correct ?

Que se passe-t-il si nous créons un snapshot sur B2 Cloud Storage après avoir téléchargé manuellement les fichiers sur notre ordinateur et tout téléchargé vers DO Spaces ? Après cette étape, nous modifions l’URL d’origine de la zone de pull BunnyCDN pour qu’elle pointe vers DO Spaces, nous modifions le fichier app.yml et nous reconstruisons. Dans ce cas, devons-nous reconstruire les publications ?

Une dernière question… Que deviennent les fichiers et images inutilisés sur DO Spaces ? Le système les reconnaît-il et les supprime-t-il ?

Merci pour toute aide apportée :slight_smile:

Je pense que la méthode la plus simple consiste à activer le paramètre masqué qui télécharge tous les fichiers S3 vers une sauvegarde dans la console (vous pourrez rechercher ici ou consulter le code source), passer aux espaces, restaurer la sauvegarde, puis reconstruire le conteneur.

N’oubliez pas de désactiver le paramètre qui télécharge les images, sinon vous téléchargerez et réimporterez toutes vos images à chaque sauvegarde !

Je cherche à résoudre ce problème depuis des années, mais mes tests échouent systématiquement, probablement à cause de cas limites. Faites-moi savoir si cela fonctionne. Vous pouvez le tester en restaurant une copie sur un site de test.

3 « J'aime »

Merci ! :slightly_smiling_face: Donc ce processus sauvegarde également tout depuis S3. Cela va créer un énorme fichier de sauvegarde sur B2 Cloud Storage après l’avoir téléchargé sur l’ordinateur. Avant de restaurer, dois-je modifier le fichier app.yml et le CDN pour qu’ils pointent vers DO Spaces ? Cela restaurera les fichiers vers DO Spaces.

Mais lors de la création du fichier de sauvegarde, app.yml doit-il déjà contenir les informations de DO Spaces pour restaurer au bon endroit ? Ou puis-je modifier le fichier app.yml à l’intérieur de la sauvegarde une fois celle-ci créée ? :slightly_smiling_face:

Ah oui, c’est vrai, j’oubliais que la sauvegarde est également sur B2 Cloud Storage. Juste un autre bucket.

Bonne remarque. Vous opteriez plutôt pour une sauvegarde locale.

2 « J'aime »

J’ai trouvé cela, alors je me demande ce qui se passerait si on migrait d’un cloud vers un autre, en changeant simplement le CDN et le fichier app.yml ? Est-ce réalisable ? :slight_smile: Si c’est le cas, ce serait peut-être la solution la plus simple et la plus rapide pour ce processus. Ils prennent également en charge BackBlaze.

1 « J'aime »

Je pense que cela devrait fonctionner, et si le CDN est le même, alors je ne pense pas que vous ayez besoin de toucher à la base de données.

1 « J'aime »

Oui, même CDN, il suffit de changer l’URL d’origine de la zone de tir vers DO Spaces. :slight_smile:

1 « J'aime »

J’ai trouvé une autre façon de faire cela, que je vais essayer en premier demain.

  1. Reconstruisez le site en utilisant les nouveaux paramètres
  2. Déplacez les fichiers du vieux stockage vers le nouveau en utilisant l’interface de ligne de commande aws s3
  3. Utilisez DbHelper.remap pour remapper le chemin du vieux stockage vers le nouveau stockage.
5 « J'aime »

Merci Falco, je vais essayer ça ! :heart::slightly_smiling_face:

J’ai trouvé des informations sur le processus de remappage sur howto ici :

Maintenant, je cherche sur Google comment utiliser l’interface de ligne de commande AWS S3. J’espère trouver un guide étape par étape. Merci. :slightly_smiling_face:

3 « J'aime »

J’ai effectué la migration hier soir sans aucun problème ! :slight_smile: Merci à Falco ! :heart: DO Spaces corrige de nombreuses erreurs qui existaient auparavant sur B2 Cloud Storage et c’est beaucoup plus rapide aussi. Merci pour votre aide, les amis ! :slight_smile:

3 « J'aime »

Pouvez-vous en dire plus sur les erreurs Backblaze ? Je le recommande (bien que principalement pour les sauvegardes).

1 « J'aime »

Nous avions de nombreux avertissements « url interdite » provenant de fichiers js dans les journaux. Maintenant, les journaux sont propres. Parfois, Composer se bloquait et ce genre de bugs survenait. Maintenant, tout est fluide et rapide.

Ils ne nous ont jamais notifié lorsque la clé API expirait. C’est l’un des plus gros problèmes. Cependant, sur le panneau B2, il est indiqué « jamais d’expiration », mais elle expire toujours après quelques mois et fait planter notre site. Je pense que B2 rencontre des problèmes de temps d’arrêt ou d’instabilité, car parfois le téléchargement des images échouait.

Je ne sais pas si c’était un problème de notification push qui a peut-être aussi causé cela, mais nous ne sommes pas sûrs, nous le testons actuellement. :slightly_smiling_face:

Pour nous, c’était un bon choix de migrer vers DigitalOcean Spaces à Francfort, car notre forum s’y trouve également. Plus rapide et plus stable jusqu’à présent. J’espère que cela restera positif pour l’avenir. :slightly_smiling_face:

2 « J'aime »

Super ! Peux-tu partager les étapes que tu as suivies pour réaliser la migration ?

1 « J'aime »

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.