Rake uploads : migrate_to_s3 fonctionne indéfiniment

Soutien Installation
1

Lorsque j’exécute cette commande, j’obtiens :

Migrating uploads to S3 for 'default'...
Uploading files to S3...
 - Listing local files
 => 23 files
 - Listing S3 files
. => 94 files
 - Syncing files to S3
.......................
Updating the URLs in the database...
Removing old optimized images...
Flagging all posts containing lightboxes for rebake...
4 posts were flagged for a rebake
4 posts still require rebaking and will be rebaked during regular job
Done!
Migrating uploads to S3 for 'default'...
Uploading files to S3...
 - Listing local files
 => 23 files
 - Listing S3 files
. => 94 files
 - Syncing files to S3
.......................
Updating the URLs in the database...
Removing old optimized images...
Flagging all posts containing lightboxes for rebake...
4 posts were flagged for a rebake
4 posts still require rebaking and will be rebaked during regular job
Done!
Migrating uploads to S3 for 'default'...
Uploading files to S3...
 - Listing local files
 => 23 files
 - Listing S3 files
. => 94 files
 - Syncing files to S3
.......................
Updating the URLs in the database...
Removing old optimized images...
Flagging all posts containing lightboxes for rebake...
4 posts were flagged for a rebake
4 posts still require rebaking and will be rebaked during regular job
Done!
Migrating uploads to S3 for 'default'...
Uploading files to S3...
 - Listing local files
 => 23 files
 - Listing S3 files
. => 94 files
 - Syncing files to S3
.......................

et cela continue indéfiniment.

Finalement, j’ai appuyé sur Ctrl-C et exécuté rake posts:rebake, ce qui a fonctionné sans problème.

Ensuite, par curiosité, j’ai réessayé la commande rake uploads:migrate_to_s3, qui a produit exactement le même résultat que ci-dessus (même sortie, même boucle infinie).

Je ne sais pas ce qui se passe, ni si c’est un problème ou non, mais je voulais le signaler. Avez-vous des idées ?

2

Je peux confirmer cela.

J’ai créé une nouvelle image avec les variables DISCOURSE_S3_XXX définies pour activer les uploads S3 lors de la migration de la base de données originale. J’aurais pensé que cela placerait toutes les images sur S3 dès le départ, mais, hélas, la restauration de cette sauvegarde échoue lorsqu’elle tente de migrer vers S3.

J’ai ensuite essayé d’exécuter rake uploads:migrate_to_s3 (avec toutes les variables d’environnement définies en ligne de commande avant la commande) et j’ai obtenu la boucle infinie décrite dans le sujet original.

J’ai ensuite essayé de faire une restauration en ligne de commande avec tous les paramètres DISCOURSE_S3 définis en ligne de commande.

Je pensais que je pourrais ensuite faire une sauvegarde et une restauration, mais non. La restauration via l’interface web échoue. La restauration en ligne de commande, sans transmettre tous les paramètres S3, échoue également.

Il semble donc que si vous souhaitez restaurer une sauvegarde contenant des uploads sur S3, vous devez le faire en ligne de commande et transmettre les paramètres S3 en ligne de commande lors de la restauration.

L’impossibilité de restaurer une sauvegarde avec des uploads S3 depuis l’interface utilisateur semble être un bug.

3

Pour la prochaine personne qui tente une restauration :wink: voici la syntaxe exacte pour placer toutes les options de la ligne de commande sur la même ligne que la commande de restauration, comme le recommande @pfaffman… il s’agit simplement de définir les quatre variables, puis d’exécuter la commande de restauration à la toute fin.

DISCOURSE_S3_BUCKET=my-forum-storage DISCOURSE_S3_REGION=us-east-1 DISCOURSE_S3_ACCESS_KEY_ID=asdasdasdasdasdadsasdas DISCOURSE_S3_SECRET_ACCESS_KEY=aasdasdasdasdasdadsasdasasdasdasdasd discourse restore my-forums-2020-04-11-232922-v20200408121834.tar.gz
4

@pnoeric La boucle infinie a été corrigée dans FIX: Infinite loop in migrate_to_s3 rake task · discourse/discourse@baae0e7 · GitHub

@pfaffman Le problème devrait être résolu dans FIX: Restore to S3 didn't work without env variables · discourse/discourse@c6b411f · GitHub

5

Oh, super ! Merci beaucoup. (Parfois, un :heart: ne suffit pas.)

6

Oui, j’ajouterai aussi ma voix ! Merci d’être si réactif. C’est très apprécié. E