Téléchargements perdus lors de la migration du serveur

J’ai migré de l’hébergement Discourse vers l’auto-hébergement mais j’ai perdu toutes les images de mon forum, je m’en suis rendu compte très tard et cela fait plus de 30 jours depuis cette migration.

Quand je m’en suis rendu compte, j’ai exécuté le code suivant mais il n’a pas fonctionné :

`
> ./launcher enter app
> rake posts:rebake

`

J’ai parlé au support de Discourse mais ils m’ont dit qu’ils ne pouvaient pas restaurer la sauvegarde car cela fait plus de 30 jours. Que puis-je faire pour résoudre ce problème :

1 « J'aime »

Je déteste le dire, mais il se peut qu’il n’y ait rien que vous puissiez faire ici.

Si vous n’avez pas effectué de sauvegarde complète incluant les images, et que vous n’avez réalisé le problème qu’après que votre hébergeur ait supprimé ses propres sauvegardes, alors les données sont probablement perdues.

Si cela ne vous dérange pas que je vous le demande, qu’est-il arrivé pour qu’il vous faille un mois avant de réaliser que vos images n’étaient pas dans la sauvegarde ? Le site était-il en panne pendant tout ce mois ?

Non, le site était actif mais j’ai été occupé par d’autres travaux. De plus, je fais des sauvegardes complètes depuis le panneau d’administration de Discourse.

Si vos actifs étaient stockés sur un stockage distant tel que s3, ils ne seraient pas inclus dans la sauvegarde.

Il existe également le paramètre backup with uploads qui ignore les téléchargements.

Quelle est la taille du fichier de sauvegarde ?

Vous avez probablement téléchargé votre sauvegarde avant d’annuler votre compte et elle n’incluait pas les téléchargements.

Vous pourriez leur demander très gentiment s’ils peuvent restaurer temporairement les téléchargements vers S3. Cela m’est arrivé il y a quelque temps lorsqu’ils ont procédé au nettoyage de leurs anciens buckets S3 et qu’ils ont pu restaurer les téléchargements vers S3 pendant un certain temps.

S’ils le peuvent, vous pourrez alors trouver un moyen de télécharger ces images depuis S3 et de les re-télécharger dans votre propre bucket S3, ou de trouver un moyen de les intégrer dans Discourse. C’est une tâche assez ardue, mais c’est possible.

C’est probable ; le lien vers la sauvegarde complète finale inclut les téléchargements S3, mais d’autres sauvegardes ne les incluent pas.

Je ne trouve aucune demande de support précédente de ce compte. Depuis un compte avec l’adresse e-mail associée à votre ancien site, veuillez envoyer un message privé à @team avec le nom du site, et je pourrai vérifier pour m’assurer que les téléchargements ne sont plus disponibles.

5 « J'aime »

Vous ne vous en rendez pas compte, car le site migré continue de charger les images depuis le S3 de CDCK, jusqu’à ce qu’elles soient supprimées, et il est alors trop tard.

1 « J'aime »

Nous avons également un verrouillage de version de compartiment S3 sur nos téléchargements, donc même après leur suppression, nous pouvons toujours les restaurer pendant une période donnée.

4 « J'aime »

Je comprends comment fonctionne S3, c’est généralement un grand avantage lors du déplacement d’un site entre serveurs. Je faisais référence à la différence relativement énorme dans les tailles de fichiers.

Nous avons des forums avec une base de données énorme et (relativement) peu de téléchargements. Il me serait complètement impossible de prédire la taille d’une sauvegarde d’un tel forum, ni de repérer la différence entre une sauvegarde avec et sans sauvegardes, surtout si une seule des deux est présente.

1 « J'aime »

Je suppose que je viens d’une génération plus ancienne. Mes journées d’exploitation ont commencé avec des piles de bandes et le principe directeur selon lequel ce n’est pas une sauvegarde tant que vous n’avez pas validé qu’elle fonctionne et qu’elle contient les données attendues. Rien de tel que de passer des heures à extraire des données de LTO et à réaliser que les autorisations ou les verrous de fichiers ont empêché un agent de sauvegarde de saisir des fichiers critiques.

Si l’arrangement actuel peut embrouiller les nouveaux utilisateurs comme les utilisateurs expérimentés, peut-être avons-nous besoin d’un indicateur plus clair dans le nom du fichier, en ajoutant complete et no-uploads ? L’approche existante donne aux utilisateurs un faux sentiment de sécurité, donc cela semble certainement y avoir une marge d’amélioration.

Seriez-vous ouvert à cela @supermathie ?

2 « J'aime »

Eh bien, je pense que nous sommes de la même génération, et je ne me ferais pas avoir non plus.

Mais d’un côté, nous (en tant que communauté) n’arrêtons pas de dire aux gens qu’ils devraient se lancer dans l’auto-hébergement, « c’est facile, il suffit de suivre les instructions », et maintenant nous nous attendons à ce qu’ils vérifient non seulement la taille de leurs sauvegardes, mais aussi qu’ils consultent le contenu d’un fichier .tar.gz, quelque chose dont ils n’ont probablement jamais entendu parler, ni ne savent comment faire. Et même s’ils le font, il est difficile de dire quand le contenu est suffisant. La plupart des forums qui ont leurs téléchargements sur S3 ont également des fichiers locaux. Ce n’est pas si tranché que tous les fichiers, ou aucun fichier, sont là.

Le problème avec la restauration d’un forum où les téléchargements sont laissés à l’emplacement S3 (précédent) est que cela fonctionne. Tout semble bien, jusqu’à ce que les téléchargements disparaissent un mois plus tard. Et même si des fichiers sont manquants, le processus de restauration ne vous dit-il pas qu’il est normal que « vous verrez des images manquantes » et que tout ira bien éventuellement ?

2 « J'aime »

Alors améliorons cela aussi ?

Peut-être que nous devons détecter quand une sauvegarde est en cours de restauration sur une nouvelle instance et avertir l’utilisateur que les ressources n’ont pas été incluses dans la restauration qu’il vient d’exécuter.

2 « J'aime »

Je suis presque sûr que nous améliorerons cela. Un avertissement lorsque vous restaurez une sauvegarde sans téléchargements a beaucoup de sens.

4 « J'aime »