Mover de BackBlaze B2 para Digital Ocean Spaces

Olá,

Estou bastante confuso com essa situação no momento. Temos um bucket BackBlaze B2 para uploads (imagens + ativos) em combinação com a BunnyCDN. O B2 Cloud Storage não suporta tombstones. Por isso, temos muitas imagens e scripts não utilizados. Agora, quero migrar esses uploads para o Digital Ocean Spaces, mantendo a mesma configuração da BunnyCDN, apenas alterando a URL de origem para o DO.

Usamos este guia incrível para configurar o B2 Cloud Storage. E queremos mudar para a versão do DO.


Qual é a melhor prática para realizar essa migração? Temos cerca de 10 GB de uploads. O B2 possui o recurso Snapshot, mas é muito lento. O código do console rake uploads:migrate_from_s3 primeiro baixa tudo do S3 e precisamos refazer os posts, o que também é um processo muito lento por causa das imagens. Após esse processo, podemos fazer o upload de tudo para o DO Spaces. É isso mesmo?

O que acontece se fizermos um Snapshot no B2 Cloud Storage após baixar manualmente para o computador e fazer o upload de tudo para o DO Spaces? Após esse processo, modificamos a URL de origem da zona de pull da BunnyCDN para o DO Spaces, alteramos o arquivo app.yml e reconstruímos. Dessa forma, será necessário refazer os posts?

Mais uma pergunta… O que acontece com os arquivos e imagens não utilizados no DO Spaces? O sistema reconhece esses arquivos e os deletará?

Obrigado por toda ajuda :slight_smile:

Acho que a maneira mais fácil é ativar a configuração oculta que baixa todos os arquivos S3 para um backup no console (você poderá pesquisar aqui ou verificar na origem), mudar para Spaces, restaurar o backup e recriar o container.

Lembre-se de desativar a configuração que baixa as imagens; caso contrário, você baixará e fará upload de todos os seus arquivos a cada backup!

Tenho tentado resolver isso há anos, mas meus testes continuam falhando, provavelmente por causa de casos extremos. Me avise se isso funcionar. Você pode testar restaurando em um site de teste.

3 curtidas

Obrigado! :slightly_smiling_face: Então esse processo faz backup de tudo no S3 também. Isso criará um arquivo de backup enorme no B2 Cloud Storage após o download para o computador e, antes de restaurá-lo, devo alterar o arquivo app.yml e o CDN para apontar para o DO Spaces? Ele restaurará os arquivos no DO Spaces.

Mas, ao criar o arquivo de backup, o app.yml deve conter as informações do DO Spaces para restaurar no local correto. Ou posso editar o arquivo app.yml dentro do backup após criá-lo? :slightly_smiling_face:

Ah, sim, porque esqueci que o backup também está no B2 Cloud Storage. Apenas outro bucket.

Bom ponto. Você mudaria para fazer backup local.

2 curtidas

Encontrei isso, então estou apenas pensando: o que aconteceria se migrássemos de nuvem para nuvem, trocando apenas a CDN e o arquivo app.yml? Seria viável? :slight_smile: Se for, talvez essa seja a solução mais simples e rápida para esse processo. Eles também suportam o BackBlaze.

1 curtida

Acho que isso deve funcionar e, se o CDN for o mesmo, acho que você não precisará mexer no banco de dados.

1 curtida

Sim, mesma CDN, basta alterar a URL de origem da zona de pull para DO Spaces. :slight_smile:

1 curtida

Encontrei outra forma de fazer isso, que vou tentar primeiro amanhã.

  1. Reconstrua o site usando os novos parâmetros
  2. Mova os arquivos do armazenamento antigo para o novo usando a CLI aws s3
  3. Use o DbHelper.remap para remapear o caminho do armazenamento antigo para o novo.
5 curtidas

Obrigado, Falco! Vou tentar isso! :heart::slightly_smiling_face:

Encontrei informações sobre o processo de remapeamento no howto aqui:

Agora, vou pesquisar no Google como usar a CLI do AWS S3. Espero encontrar um guia passo a passo. Obrigado. :slightly_smiling_face:

3 curtidas

Fiz a migração ontem à noite sem nenhum problema! :slight_smile: Obrigado ao Falco! :heart: O DO Spaces corrige muitos erros que existiam antes no B2 Cloud Storage e é muito mais rápido também. Obrigado pela ajuda, pessoal! :slight_smile:

3 curtidas

Você pode dar mais detalhes sobre os erros do Backblaze? Tenho recomendado o serviço (embora principalmente para backups).

1 curtida

Tivemos muitos avisos de ‘url proibida’ em arquivos JS nos logs. Agora os logs estão limpos. Às vezes, o Composer travava e ocorriam bugs desse tipo. Agora está tudo suave e rápido.

Eles nunca nos avisam quando a chave da API expira, o que é um dos maiores problemas. No entanto, no painel B2 diz que nunca expira, mas ela sempre expira após alguns meses e derruba nosso site. Acho que o B2 tem algum tempo de inatividade ou algo instável, pois, às vezes, o upload de imagens falhava.

Não sei se havia um problema com notificações push, talvez isso também tenha causado isso. Mas não temos certeza, estamos testando agora. :slightly_smiling_face:

Para nós, foi uma boa escolha migrar para o DigitalOcean Spaces Frankfurt, pois nosso fórum também está lá. Mais rápido e mais estável até agora. Espero que continue bom no futuro também. :slightly_smiling_face:

2 curtidas

Ótimo! Você pode compartilhar os passos que seguiu para realizar a migração?

1 curtida

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.