Reduza as necessidades de espaço no disco local ao não compactar (redundantemente) backups com gzipping

O processo de backup cria um arquivo tar e, em seguida, aplica o gzip a ele. Existem dois tipos de coisas no arquivo tar: um dump SQL já compactado com gzip e o conteúdo dos uploads (se solicitado). No meu caso, cada arquivo de upload já está compactado: gz, gzip, gif, jpeg, png, zip. Portanto, a compactação final com gzip ganha apenas 1% de tamanho.

Acredito que seria melhor exigir menos espaço livre.

Um tópico anterior de 2016 menciona a desativação da compactação de backup, mas parece que o dump SQL não estava compactado naquele momento, o que alterou os compromissos.

Adicionar opção para desativar a compactação de backup

10 curtidas

Já estou trabalhando em um novo formato de backup que remove a compressão dupla. Minha esperança é que ele esteja pronto em um ou dois meses.

13 curtidas

Ótimo @gerhard!

2 curtidas

Alguma atualização sobre isso? Obrigado

1 curtida

Para não te incomodar muito, mas como está o andamento disso?

O desenvolvimento desse recurso está atualmente pausado e não está em nosso roteiro atual. Espero que possamos implementá-lo em 2024.

4 curtidas

Se eu escrevesse um patch para aceitar um 0 na taxa de compressão para desabilitar o gzip, vocês aceitariam?

1 curtida

(Acho que você economizaria tempo de CPU dessa forma, mas não espaço, porque o arquivo tar compactado com gzip ainda seria criado.)

Estou tentando economizar tempo de CPU. Na verdade, eu estava pensando em usar o 0 como um sinalizador que alteraria o caminho do código para que ele não usasse gzip (infelizmente, zero não é um nível de compressão válido suportado em todas as versões do gzip, até onde sei).

Hmm, isso não me ajudaria em nada! (Da mesma forma, outros que tiveram o mesmo problema com espaço em disco limitado.)

Se o tar estivesse sendo usado, ele poderia ser usado com as opções z ou j. Se um subshell estivesse sendo usado, a saída do tar poderia ser canalizada para o gzip. Mas eu acho que, na verdade, algumas funções de nível superior do Ruby podem estar em uso.

1 curtida

tosse

2 curtidas

Talvez não deva ser muito difícil… Agradeço que fazer alterações no backup e restauração deva ser feito com muito cuidado, mas acho que apenas incorporar a compressão economizaria muito espaço sem nenhuma questão de compatibilidade.

Do tar --help

-a, --auto-compress use archive suffix to determine the compression
-z, --gzip, --gunzip, --ungzip filter the archive through gzip

1 curtida

O -z realmente faz uma compressão in-loco? Sempre presumi que ele apenas executava o gzip após a conclusão do arquivo tar.

Imprudentemente, neste caso! Os bytes que representam o arquivo tar descompactado nunca chegam ao disco.

2 curtidas

Você está dizendo que podemos simplesmente adicionar
"--gzip",

E isso irá parar de exigir o dobro do espaço real usado pelos dados?

1 curtida

Sim, essa é a alteração no comando tar.

1 curtida