Eliminar cargas locales después de la migración a S3

Soporte
1

He logrado mover archivos a S3 (almacenamiento de objetos de Contabo) Configure an S3 compatible object storage provider for uploads - #474 by tumbano

pero los archivos locales antiguos no se han eliminado. Por lo que he leído, debería hacerse automáticamente (he configurado “Limpiar cargas huérfanas” en 1 hora y “Período de gracia para purgar cargas eliminadas” en 1 día), pero no lo hace. También hay un trabajo “Jobs::CleanUpUploads” en sidekiq marcado como FALLIDO.

¿Hay alguna forma de eliminar los archivos de forma segura o ejecutar el trabajo desde la línea de comandos?

3

Yo también estoy experimentando un problema similar. Todas mis cargas están en mi bucket, pero también en mi servidor en el directorio compartido :thinking:

Acabo de crear una nueva copia de seguridad del sitio como prueba, y la puso tanto en la carpeta compartida como en el bucket de S3.

4

Bien, la copia de seguridad todavía incluye la carpeta de subidas locales en el archivo, aunque diga que no.

5

Recuerdo que hubo un error al final del proceso de migración, que algunos archivos no se transfirieron. No me importó si faltaban algunas imágenes de más de 80000, pero quién sabe, tal vez Discourse sí, así que hoy probé algo que encontré en otro tema y

cd /var/discourse
./launcher enter app
VERBOSE=1 rake posts:missing_uploads

El resultado fue que había 2 publicaciones con una imagen faltante cada una y me dio los enlaces exactos, así que fui y edité las publicaciones. Después de ejecutar el comando nuevamente, esta vez no faltaban archivos.
Con un poco de esperanza, volví a intentar ejecutar rake uploads:migrate_to_s3, sin éxito. Así es como termina

Actualizando las URL en la base de datos...
Eliminando imágenes optimizadas antiguas...
Marcando todas las publicaciones que contienen lightboxes para volver a procesar...
16163 publicaciones fueron marcadas para volver a procesar
rake abortó!
FileStore::ToS3MigrationError: 4 publicaciones no se remapean a la nueva URL de carga de S3. La migración a S3 falló para la base de datos 'default'. (FileStore::ToS3MigrationError)
/var/www/discourse/lib/file_store/to_s3_migration.rb:132:in `raise_or_log'
/var/www/discourse/lib/file_store/to_s3_migration.rb:81:in `migration_successful?'
/var/www/discourse/lib/file_store/to_s3_migration.rb:383:in `migrate_to_s3'
/var/www/discourse/lib/file_store/to_s3_migration.rb:59:in `migrate'
/var/www/discourse/lib/tasks/uploads.rake:126:in `migrate_to_s3'
/var/www/discourse/lib/tasks/uploads.rake:106:in `block in migrate_to_s3_all_sites'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:36:in `each_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `each_connection'
/var/www/discourse/lib/tasks/uploads.rake:104:in `migrate_to_s3_all_sites'
/var/www/discourse/lib/tasks/uploads.rake:100:in `block in <main>'
/usr/local/bin/bundle:25:in `load'
/usr/local/bin/bundle:25:in `<main>'
Tasks: TOP => uploads:migrate_to_s3