Las descargas provenientes de S3 incluso con DISCOURSE_S3_CDN_URL configurado

Soporte
1

I followed the guide at Using Object Storage for Uploads (S3 & Clones) to set up Backblaze B2 for upload storage and I’m seeing a strange problem.

If I create a thread and upload an image the img src is set to my S3_CDN_URL. If I upload a zip file the URL is at /uploads and redirect directly to my bucket instead of using the S3_CDN_URL. I do not have DISCOURSE_CDN_URL set - the guide indicate it doesn’t affect this issue.

Me relevant settings are:

  DISCOURSE_USE_S3: true
  DISCOURSE_S3_REGION: "us-west-000"
  DISCOURSE_S3_INSTALL_CORS_RULE: false
  DISCOURSE_S3_CONFIGURE_TOMBSTONE_POLICY: false
  DISCOURSE_S3_ENDPOINT: "https://s3.us-west-000.backblazeb2.com"
  DISCOURSE_S3_ACCESS_KEY_ID: "ID"
  DISCOURSE_S3_SECRET_ACCESS_KEY: "KEY"
  DISCOURSE_S3_CDN_URL: "https://devforum-b2-cdn.freetls.fastly.net"
  DISCOURSE_S3_BUCKET: "bucket-name"
  DISCOURSE_S3_BACKUP_BUCKET: "backup-bucket/devforum"
  DISCOURSE_BACKUP_LOCATION: s3

Why would zip files be handled differently than images?

1 me gusta
2

Esta cosa de almacenamiento y su configuración son, en efecto, un gran desafío a lo largo de los años.

Yo almacenaba mis imágenes en Aws S3. Y luego cambié mi almacenamiento a un servidor local. Ahora, hay cientos de imágenes que desaparecieron repentinamente.

Aunque esto no es una respuesta directa o comentario a tu consulta, solo quiero mostrar empatía hacia problemas similares.

3

Vea la configuración del sitio: Usar URL de CDN de S3 para todas las cargas

Utilice la URL de CDN para todos los archivos subidos a s3 en lugar de solo para las imágenes.

1 me gusta
4

Gracias.
Le he asignado el trabajo a un amigo local mío. Él lo está revisando.
Aunque a petición tuya, acabo de seleccionar esta opción. Usar URL de CDN para todos los archivos subidos a s3 en lugar de solo para imágenes.

Pero parece haber algún otro problema. Él ha trasladado el almacenamiento de s3 a un servidor local. Ahora muchas de mis publicaciones antiguas, que si tenían 10 fotos, alrededor de la mitad se muestran y la otra mitad no. (ejemplo de un tema así)

Él trabajará en resolver esto el próximo fin de semana.

Anteriormente, antes de preguntarle, seleccioné ingenuamente la opción de incluir todas las imágenes en mis copias de seguridad, luego restauré esa copia de seguridad pensando que restauraría las imágenes al servidor local, pensando que esto sería suficiente para mover todas mis imágenes de s3 a local.
Pero esto no es tan simple (como estoy descubriendo en muchos temas relacionados en meta).

5

Lo siento. Me refería al otro problema.

Estoy bastante seguro de que el tuyo es mucho más complicado.

Eso es ciertamente complicado.

Creo que las imágenes que faltan en esa publicación se deben a que no existe el registro de carga, por lo que necesitarás hacer algo para recuperar esa imagen. Podría estar equivocado.

Si tengo razón, aquí explico cómo resolví lo que creo que fue un problema similar antes. No ofrezco soporte gratuito más allá de este script.

def process_uploads
  begin
    # Lee la lista de nombres de archivo
    filenames = File.readlines('/shared/uploads/allfiles.txt').map(&:strip)
    count = 0

    filenames.each do |filename|
      # Añade /shared al principio del nombre de archivo
      filename.gsub!(/\.\//,"")
      full_path = File.join('/shared/uploads/default/original/', filename)

      begin
        # Comprueba si la ruta existe y es un archivo regular (no un directorio)
        count += 1
        
        if File.exist?(full_path) && File.file?(full_path)
          # Abre el archivo
          File.open(full_path, 'r') do |tempfile|
            # Crea la carga usando los parámetros especificados
            u = UploadCreator.new(tempfile, 'imported', {}).create_for(-1)
            puts "#{count} -- #{u.id}: #{u.url}"
          end
        else
          puts "Advertencia: Ruta no encontrada o no es un archivo regular: #{full_path}"
        end
      rescue => e
        puts "Error al procesar el archivo #{full_path}: #{e.message}"
        # Continúa con el siguiente archivo incluso si el actual falla
        next
      end
    end
  rescue Errno::ENOENT
    puts "Error: No se pudo encontrar files.txt"
  rescue => e
    puts "Error al leer files.txt: #{e.message}"
  end
end

# Ejecuta el procesamiento
process_uploads;
1 me gusta