Discourse detecta incorrectamente el archivo subido como una imagen

xyzzy · 26 Octubre, 2023 17:44

Tengo algunos usuarios de ingeniería que desean adjuntar algunos archivos de datos con extensiones de archivo poco comunes a sus publicaciones. Son esencialmente archivos de texto plano, pero incluyen caracteres ASCII extendidos.

Intenté actualizar la configuración NGINX de Discourse para especificar los tipos de medios MIME para estos archivos, pero no funcionó. Publiqué un tema (How to customize MIME media type emitted for certain attachments?) sobre esto hace dos semanas, pero no he recibido ninguna respuesta hasta ahora. Incluso si NGINX no se actualiza, seguirá sirviendo tipos de archivo desconocidos utilizando el tipo MIME de respaldo “application/octet-stream”. Puedo vivir con eso por ahora.

Sin embargo, cuando los usuarios intentan cargar estos archivos de datos en una publicación (ya sea usando el botón “Cargar” o arrastrando y soltando), reciben un mensaje de error de Discourse como este:

Parece que cuando los usuarios cargan archivos, Discourse intenta ser inteligente y detectar si es una imagen u otro tipo de archivo. Además, parece que está haciendo esta determinación mirando el contenido del archivo (muy parecido a lo que hace el comando estándar de Unix “file”). Supongo que esto es para que Discourse pueda decidir si insertarlo en el contenido de la publicación o colocarlo a un lado como un archivo adjunto.

En el caso de estos archivos de datos, esta verificación identifica incorrectamente los archivos como imágenes. Solo por diversión, puse algunos de estos archivos de datos en una máquina Ubuntu y los verifiqué con el comando “file”, y efectivamente, fueron identificados como “datos de imagen JPEG”.

¿Hay alguna manera de que los usuarios carguen archivos sin que Discourse intente detectar si son imágenes? Es decir, “¿Por favor, carga esto como un archivo adjunto, sin importar qué, no lo insertes”?

Alternativamente, podría configurar Discourse para permitir archivos zip y decirles a los usuarios que compriman sus archivos antes de cargarlos, pero preferiría no abrir el sitio a cargas aleatorias de archivos zip. Eso parece un problema de seguridad.

¡Gracias de antemano por cualquier ayuda!

Falco · 26 Octubre, 2023 17:47

Otra solución alternativa es adoptar una extensión para esos archivos extraños, como .bin, .data o realmente .anythinggoes, lo que debería ser suficiente para que Discourse deje esos archivos en paz.

xyzzy · 26 Octubre, 2023 17:59

¡Gracias por la rápida respuesta! Sin embargo, lo intenté y no funciona. Discourse definitivamente está mirando el contenido del archivo, no la extensión, para determinar si es una imagen o no.

xyzzy · 15 Noviembre, 2023 23:54

¿Alguien tiene alguna opinión al respecto? Esto parece un error bastante importante.

Arkshine · 18 Noviembre, 2023 18:26

Investigué un poco sobre este problema.

En resumen, tu archivo está siendo detectado como JPEG porque comienza con la misma firma que este tipo de archivo.
Es posible solucionar este comportamiento en Discourse, pero requiere una modificación. (ver al final)

Aquí hay algo técnico.
Este problema comienza aquí:

github.com/discourse/discourse

lib/upload_creator.rb

main


      
          @image_info =
            begin
              FastImage.new(@file)
            rescue StandardError
              nil
            end
          is_image = FileHelper.is_supported_image?(@filename)
          is_image ||= @image_info && FileHelper.is_supported_image?("test.#{@image_info.type}")
          is_image = false if @opts[:for_theme]
          is_thumbnail = SiteSetting.video_thumbnails_enabled && @opts[:type] == "thumbnail"

La biblioteca FastImage abre el archivo y determina el tipo y el tamaño.
Como esperas, devuelve un tipo JPEG.

Si miras la firma JPEG, se ve así:

Marcadores JPEG

Más información: List of file signatures - Wikipedia
JPEG - Wikipedia

Siempre comienza con los siguientes bytes de marcador: FF D8

Si miras tu muestra de archivo con un editor hexadecimal, verás que comienza igual.

Ahora, si miras cómo FastImage detecta un JPEG, puedes verlo aquí:

github.com/sdsykes/fastimage

lib/fastimage.rb

master


      
          # frozen_string_literal: true
          # coding: ASCII-8BIT
          
          # FastImage finds the size or type of an image given its uri.
          # It is careful to only fetch and parse as much of the image as is needed to determine the result.
          # It does this by using a feature of Net::HTTP that yields strings from the resource being fetched
          # as soon as the packets arrive.
          #
          # No external libraries such as ImageMagick are used here, this is a very lightweight solution to
          # finding image information.
          #
          # FastImage knows about GIF, JPEG, BMP, TIFF, ICO, CUR, PNG, HEIC/HEIF, AVIF, PSD, SVG, WEBP and JXL files.
          #
          # FastImage can also read files from the local filesystem by supplying the path instead of a uri.
          # In this case FastImage reads the file in chunks of 256 bytes until
          # it has enough. This is possibly a useful bandwidth-saving feature if the file is on a network
          # attached disk rather than truly local.
          #
          # FastImage will automatically read from any object that responds to :read - for
          # instance an IO object if that is passed instead of a URI.

This file has been truncated. show original

Sin embargo, no puedes extraer ninguna información de la imagen ya que no están todos los bytes requeridos.

¿Cómo solucionamos este problema en Discourse?
Mirando el código de FastImage, hay una opción valiosa que puedes pasar.

github.com/sdsykes/fastimage

lib/fastimage.rb

master


      
          # frozen_string_literal: true
          # coding: ASCII-8BIT
          
          # FastImage finds the size or type of an image given its uri.
          # It is careful to only fetch and parse as much of the image as is needed to determine the result.
          # It does this by using a feature of Net::HTTP that yields strings from the resource being fetched
          # as soon as the packets arrive.
          #
          # No external libraries such as ImageMagick are used here, this is a very lightweight solution to
          # finding image information.
          #
          # FastImage knows about GIF, JPEG, BMP, TIFF, ICO, CUR, PNG, HEIC/HEIF, AVIF, PSD, SVG, WEBP and JXL files.
          #
          # FastImage can also read files from the local filesystem by supplying the path instead of a uri.
          # In this case FastImage reads the file in chunks of 256 bytes until
          # it has enough. This is possibly a useful bandwidth-saving feature if the file is on a network
          # attached disk rather than truly local.
          #
          # FastImage will automatically read from any object that responds to :read - for
          # instance an IO object if that is passed instead of a URI.

This file has been truncated. show original

Al usar esta opción, cualquier error (SizeNotFound, ImageFetchFailure, CannotParseImage, UnknownImageType, BadImageURI) no devolverá información de imagen; y tu archivo no será detectado como una imagen.

@image_info =
  begin
    FastImage.new(@file, raise_on_failure: true)
  rescue StandardError
    nil
  end
...
is_image ||= @image_info && FileHelper.is_supported_image?("test.#{@image_info.type}")

Entonces, puede funcionar ahora:

Puedo hacer un PR más tarde. Usar esta opción tiene sentido aquí.

xyzzy · 21 Noviembre, 2023 22:46

¡Guau! ¡Este es un análisis fenomenal! ¡Gracias!

Algunas preguntas rápidas:

Entonces, con estos cambios, ¿el archivo no será detectado como una imagen y se cargará como no imagen y se mostrará a la derecha de la publicación?
Si entiendo correctamente, me sugieres que haga estos ajustes en mi instancia local de Discourse para probar esto y/o usar esto hasta que se incluya en una futura versión de Discourse. ¿Pero cómo hago esto? (Soy un desarrollador de software experimentado pero tengo experiencia limitada con Docker y ninguna con Ruby).
La llamada FastImage que necesitaría ser ajustada está en models/upload.rb, ¿verdad?

Arkshine · 22 Noviembre, 2023 01:32

Sí, es correcto, como en mi captura de pantalla anterior.
No sugiero que hagas la modificación. Sin embargo, si no puedes esperar, ciertamente podrías probar ese cambio.

Para un cambio temporal (desaparece después de la reconstrucción):

cd /var/discourse
./launcher enter app
sed -i "s/FastImage.new(@file)/FastImage.new(@file, :raise_on_failure=true)/" lib/upload_creator.rb
sed -i "s/FastImage.new(original_path)/FastImage.new(original_path, :raise_on_failure=true)/" app/models/upload.rb
exit

Para un cambio persistente (permanece después de la reconstrucción):

cd /var/discourse
nano containers/app.yml  (usa tu editor preferido)

Agrega los siguientes comandos personalizados al final (sección run):

  - replace:
      filename: "/var/www/discourse/lib/upload_creator.rb"
      from: "FastImage.new(@file)"
      to: "FastImage.new(@file, :raise_on_failure=true)"
  - replace:
      filename: "/var/www/discourse/app/models/upload.rb"
      from: "FastImage.new(original_path)"
      to: "FastImage.new(original_path, :raise_on_failure=true)"

Luego, reconstruye:

./launcher rebuild app

Supongo que sí si planeas subir archivos sin extensiones. No comprobé si otras ocurrencias requerían el mismo cambio.

xyzzy · 25 Noviembre, 2023 00:39

@Arkshine – Muchas gracias por estos detalles. Pude probar ambas correcciones por separado (cada una en una VM recién restaurada) ¡y ambas funcionaron!

Notas:

Para la corrección temporal, necesité ejecutar “./launcher restart app” para que los cambios tuvieran efecto.
Parece que “spec/models/optimized_image_spec.rb” también tiene una referencia a FastImage.new(). ¿Es necesario actualizar este también como el resto?

¡Gracias de nuevo por tu ayuda!

Arkshine · 25 Noviembre, 2023 00:44

Me alegro de que funcione.

Esto es solo para fines de prueba, así que no tienes que preocuparte por ello.

xyzzy · 25 Noviembre, 2023 00:48

¡Genial! ¡Gracias! Ahora que he probado esto en mi entorno de desarrollo, lo implementaré en los entornos de prueba y producción.

Por cierto, si tienes tiempo, me encantaría conocer tu opinión sobre un problema relacionado (How to customize MIME media type emitted for certain attachments?).

system · 25 Diciembre, 2023 00:49

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.

Tema		Respuestas	Vistas
Security checks on uploads Support	37	7462	2 Diciembre 2018
Something missing in "Select images or files from your device ()"? Bug	6	1109	22 Octubre 2015
Incorrect mime-types (content-type header) for mp4 and js Bug	10	888	7 Enero 2025
Faster (and smaller) uploads in Discourse with Rust, WebAssembly and MozJPEG \| Blog Blog	36	4884	13 Mayo 2025
Add the .svg file extension to "image files" Feature	18	1259	10 Octubre 2025

Discourse detecta incorrectamente el archivo subido como una imagen

Temas relacionados