Remova uploads locais após migração para s3

Suporte
1

Consegui mover arquivos para o S3 (armazenamento de objetos Contabo) Configure an S3 compatible object storage provider for uploads - #474 by tumbano

mas os arquivos locais antigos não foram removidos. Pelo que li, isso deve ser feito automaticamente (configurei “Limpar uploads órfãos” para 1 hora e “Período de carência para exclusão de uploads excluídos” para 1 dia), mas não está acontecendo. Há também este job “Jobs::CleanUpUploads” no sidekiq marcado como FALHOU.

Existe uma maneira de excluir os arquivos com segurança ou executar o job pela linha de comando?

3

Eu também estou tendo um problema semelhante. Todos os meus uploads estão no meu bucket, mas também no meu servidor no diretório compartilhado :thinking:

Acabei de criar um novo backup do site como teste, e ele o colocou tanto no compartilhado quanto no bucket S3.

4

Certo, o backup ainda coloca a pasta de uploads local no arquivo, mesmo que diga que não.

5

Lembro que houve um erro no final do processo de migração, que alguns arquivos não foram transferidos. Eu não me importei se algumas imagens de mais de 80000 estivessem faltando, mas quem sabe, talvez o discourse se importasse, então hoje tentei algo que encontrei em outro tópico e

cd /var/discourse
./launcher enter app
VERBOSE=1 rake posts:missing_uploads

O resultado foi que havia 2 posts com uma imagem faltando cada e me deu os links exatos, então fui e editei os posts. Depois de executar o comando novamente, desta vez não havia arquivos faltando.
Com um pouco de esperança, tentei executar rake uploads:migrate_to_s3 novamente, sem sucesso. É assim que termina

Atualizando os URLs no banco de dados...
Removendo imagens otimizadas antigas...
Marcando todos os posts contendo lightboxes para re-renderização...
16163 posts foram marcados para re-renderização
rake abortou!
FileStore::ToS3MigrationError: 4 posts não foram remapeados para o novo URL de upload do S3. A migração do S3 falhou para o db 'default'. (FileStore::ToS3MigrationError)
/var/www/discourse/lib/file_store/to_s3_migration.rb:132:in `raise_or_log'
/var/www/discourse/lib/file_store/to_s3_migration.rb:81:in `migration_successful?'
/var/www/discourse/lib/file_store/to_s3_migration.rb:383:in `migrate_to_s3'
/var/www/discourse/lib/file_store/to_s3_migration.rb:59:in `migrate'
/var/www/discourse/lib/tasks/uploads.rake:126:in `migrate_to_s3'
/var/www/discourse/lib/tasks/uploads.rake:106:in `block in migrate_to_s3_all_sites'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:36:in `each_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `each_connection'
/var/www/discourse/lib/tasks/uploads.rake:104:in `migrate_to_s3_all_sites'
/var/www/discourse/lib/tasks/uploads.rake:100:in `block in <main>'
/usr/local/bin/bundle:25:in `load'
/usr/local/bin/bundle:25:in `<main>'
Tasks: TOP => uploads:migrate_to_s3