Discourse détecte incorrectement le fichier téléchargé comme une image

xyzzy · Octobre 26, 2023, 5:44

J’ai des utilisateurs d’ingénierie qui souhaitent joindre des fichiers de données avec des extensions de fichiers inhabituelles à leurs publications. Ce sont essentiellement des fichiers texte brut, mais ils incluent des caractères ASCII étendus.

J’ai essayé de mettre à jour la configuration NGINX de Discourse pour spécifier les types de médias MIME pour ces fichiers, mais cela n’a pas fonctionné. J’ai posté un sujet (How to customize MIME media type emitted for certain attachments?) à ce sujet il y a deux semaines, mais je n’ai reçu aucune réponse jusqu’à présent. Même si NGINX n’est pas mis à jour, il servira toujours les types de fichiers inconnus en utilisant le type MIME de repli “application/octet-stream”. Je peux vivre avec ça pour l’instant.

Cependant, lorsque les utilisateurs essaient de télécharger ces fichiers de données dans une publication (en utilisant le bouton “Télécharger” ou le glisser-déposer), ils reçoivent un message d’erreur de Discourse comme celui-ci :

Il semble que lorsque les utilisateurs téléchargent des fichiers, Discourse essaie d’être intelligent et de détecter s’il s’agit d’une image ou d’un autre type de fichier. De plus, il semble faire cette détermination en examinant le contenu du fichier (un peu comme la commande Unix standard “file”). Je suppose que c’est pour que Discourse puisse décider s’il doit l’intégrer au contenu de la publication ou le placer sur le côté en tant que pièce jointe.

Dans le cas de ces fichiers de données, cette vérification identifie incorrectement les fichiers comme des images. Juste pour le plaisir, j’ai mis certains de ces fichiers de données sur une machine Ubuntu et je les ai vérifiés avec la commande “file”, et effectivement, ils ont été identifiés comme “données d’image JPEG”.

Existe-t-il un moyen pour les utilisateurs de télécharger des fichiers sans que Discourse essaie de détecter s’il s’agit d’images ? C’est-à-dire, “Veuillez télécharger ceci en tant que pièce jointe, quoi qu’il arrive, ne l’intégrez pas” ?

Alternativement, je pourrais configurer Discourse pour autoriser les fichiers zip et dire aux utilisateurs de zipper leurs fichiers avant de les télécharger, mais je préférerais ne pas ouvrir le site aux téléchargements de fichiers zip aléatoires. Cela semble être un problème de sécurité.

Merci d’avance pour toute aide !

Falco · Octobre 26, 2023, 5:47

Une autre solution de contournement consiste à adopter une extension pour ces fichiers étranges, comme .bin, .data ou vraiment .anythinggoes, ce qui devrait suffire à Discourse pour laisser ces fichiers tranquilles.

xyzzy · Octobre 26, 2023, 5:59

Merci pour votre réponse rapide ! Cependant, j’ai essayé cela et cela ne fonctionne pas. Discourse examine définitivement le contenu du fichier, et non son extension, pour déterminer s’il s’agit d’une image ou non.

xyzzy · Novembre 15, 2023, 11:54

Quelqu’un a-t-il des réflexions à ce sujet ? Cela semble être un bug assez important.

Arkshine · Novembre 18, 2023, 6:26

J’ai creusé un peu ce problème.

En bref, votre fichier est détecté comme JPEG car il commence par la même signature que ce type de fichier.
Corriger ce comportement dans Discourse est possible, mais cela nécessite une modification. (voir à la fin)

Voici quelques informations techniques.
Ce problème commence ici :

github.com/discourse/discourse

lib/upload_creator.rb

main


      
          @image_info =
            begin
              FastImage.new(@file)
            rescue StandardError
              nil
            end
          is_image = FileHelper.is_supported_image?(@filename)
          is_image ||= @image_info && FileHelper.is_supported_image?("test.#{@image_info.type}")
          is_image = false if @opts[:for_theme]
          is_thumbnail = SiteSetting.video_thumbnails_enabled && @opts[:type] == "thumbnail"

La bibliothèque FastImage ouvre le fichier et détermine le type et la taille.
Comme vous vous y attendez, elle renvoie un type JPEG.

Si vous regardez la signature JPEG, elle ressemble à ceci :

Marqueurs JPEG

Plus d’informations : List of file signatures - Wikipedia
JPEG - Wikipedia

Elle commence toujours par les octets de marqueur suivants : FF D8

En regardant votre échantillon de fichier avec un éditeur hexadécimal, vous verrez qu’il commence de la même manière.

Maintenant, si vous regardez comment FastImage détecte un JPEG, vous pouvez voir ici :

github.com/sdsykes/fastimage

lib/fastimage.rb

master


      
          # frozen_string_literal: true
          # coding: ASCII-8BIT
          
          # FastImage finds the size or type of an image given its uri.
          # It is careful to only fetch and parse as much of the image as is needed to determine the result.
          # It does this by using a feature of Net::HTTP that yields strings from the resource being fetched
          # as soon as the packets arrive.
          #
          # No external libraries such as ImageMagick are used here, this is a very lightweight solution to
          # finding image information.
          #
          # FastImage knows about GIF, JPEG, BMP, TIFF, ICO, CUR, PNG, HEIC/HEIF, AVIF, PSD, SVG, WEBP and JXL files.
          #
          # FastImage can also read files from the local filesystem by supplying the path instead of a uri.
          # In this case FastImage reads the file in chunks of 256 bytes until
          # it has enough. This is possibly a useful bandwidth-saving feature if the file is on a network
          # attached disk rather than truly local.
          #
          # FastImage will automatically read from any object that responds to :read - for
          # instance an IO object if that is passed instead of a URI.

This file has been truncated. show original

Cependant, vous ne pouvez pas extraire d’informations d’image car tous les octets requis ne sont pas présents.

Comment résoudre ce problème dans Discourse ?
En regardant le code de FastImage, il y a une option précieuse que vous pouvez passer.

github.com/sdsykes/fastimage

lib/fastimage.rb

master


      
          # frozen_string_literal: true
          # coding: ASCII-8BIT
          
          # FastImage finds the size or type of an image given its uri.
          # It is careful to only fetch and parse as much of the image as is needed to determine the result.
          # It does this by using a feature of Net::HTTP that yields strings from the resource being fetched
          # as soon as the packets arrive.
          #
          # No external libraries such as ImageMagick are used here, this is a very lightweight solution to
          # finding image information.
          #
          # FastImage knows about GIF, JPEG, BMP, TIFF, ICO, CUR, PNG, HEIC/HEIF, AVIF, PSD, SVG, WEBP and JXL files.
          #
          # FastImage can also read files from the local filesystem by supplying the path instead of a uri.
          # In this case FastImage reads the file in chunks of 256 bytes until
          # it has enough. This is possibly a useful bandwidth-saving feature if the file is on a network
          # attached disk rather than truly local.
          #
          # FastImage will automatically read from any object that responds to :read - for
          # instance an IO object if that is passed instead of a URI.

This file has been truncated. show original

En utilisant cette option, toute erreur (SizeNotFound, ImageFetchFailure, CannotParseImage, UnknownImageType, BadImageURI) ne renverra aucune information d’image ; et votre fichier ne sera pas détecté comme une image.

@image_info =
  begin
    FastImage.new(@file, raise_on_failure: true)
  rescue StandardError
    nil
  end
...
is_image ||= @image_info && FileHelper.is_supported_image?("test.#{@image_info.type}")

Alors, cela peut fonctionner maintenant :

Je pourrai faire une PR plus tard. Utiliser cette option a du sens ici.

xyzzy · Novembre 21, 2023, 10:46

Wow ! C’est une analyse phénoménale ! Merci !

Quelques questions rapides :

Avec ces changements, le fichier ne sera pas détecté comme une image et sera téléchargé comme un non-image et affiché à droite de la publication ?
Si je comprends bien, vous suggérez que je fasse ces ajustements dans mon instance Discourse locale pour essayer cela et/ou l’utiliser jusqu’à ce qu’il soit inclus dans une future version de Discourse. Mais comment faire ? (Je suis un développeur logiciel expérimenté mais j’ai une expérience limitée avec Docker et aucune avec Ruby.)
L’appel FastImage qui devrait être modifié se trouve dans models/upload.rb, n’est-ce pas ?

Arkshine · Novembre 22, 2023, 1:32

Oui, c’est exact – comme dans ma capture d’écran ci-dessus
Je ne suggère pas que vous fassiez la modification. Cependant, si vous ne pouvez pas attendre, vous pourriez certainement tester ce changement.

Pour un changement temporaire (disparu après reconstruction) :

cd /var/discourse
./launcher enter app
sed -i "s/FastImage.new(@file)/FastImage.new(@file, :raise_on_failure=true)/" lib/upload_creator.rb
sed -i "s/FastImage.new(original_path)/FastImage.new(original_path, :raise_on_failure=true)/" app/models/upload.rb
exit

Pour un changement persistant (reste après reconstruction) :

cd /var/discourse
nano containers/app.yml  (utilisez votre éditeur préféré)

Ajoutez les commandes personnalisées suivantes à la fin (section run) :

  - replace:
      filename: "/var/www/discourse/lib/upload_creator.rb"
      from: "FastImage.new(@file)"
      to: "FastImage.new(@file, :raise_on_failure=true)"
  - replace:
      filename: "/var/www/discourse/app/models/upload.rb"
      from: "FastImage.new(original_path)"
      to: "FastImage.new(original_path, :raise_on_failure=true)"

Ensuite, reconstruisez :

./launcher rebuild app

Je suppose que oui si vous prévoyez de télécharger des fichiers sans extensions. Je n’ai pas vérifié si d’autres occurrences nécessitaient le même changement.

xyzzy · Novembre 25, 2023, 12:39

@Arkshine – Merci beaucoup pour ces détails. J’ai pu tester les deux correctifs séparément (chacun sur une VM fraîchement restaurée) et ils ont tous deux fonctionné !

Notes :

Pour le correctif temporaire, j’ai dû exécuter « ./launcher restart app » pour que les changements prennent effet.
Il semble que « spec/models/optimized_image_spec.rb » contienne également une référence à FastImage.new(). Faut-il également mettre à jour celui-ci comme les autres ?

Merci encore pour votre aide !

Arkshine · Novembre 25, 2023, 12:44

Je suis content que ça fonctionne.

Ceci est juste à des fins de test, vous n’avez donc pas à vous en soucier.

xyzzy · Novembre 25, 2023, 12:48

Super ! Merci ! Maintenant que j’ai testé cela dans mon environnement de développement, je vais déployer cela dans les environnements de test et de production.

Au fait, si vous avez le temps, j’aimerais avoir votre avis sur un problème connexe (How to customize MIME media type emitted for certain attachments?).

system · Décembre 25, 2023, 12:49

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.

Sujet		Réponses	Vues
Security checks on uploads Support	37	7462	Décembre 2, 2018
Something missing in "Select images or files from your device ()"? Bug	6	1109	Octobre 22, 2015
Incorrect mime-types (content-type header) for mp4 and js Bug	10	888	Janvier 7, 2025
Faster (and smaller) uploads in Discourse with Rust, WebAssembly and MozJPEG \| Blog Blog	36	4884	Mai 13, 2025
Add the .svg file extension to "image files" Feature	18	1259	Octobre 10, 2025

Discourse détecte incorrectement le fichier téléchargé comme une image

Sujets connexes