Discourse rileva erroneamente il file caricato come immagine

xyzzy · 26 Ottobre 2023, 5:44pm

Ho alcuni utenti di ingegneria che desiderano allegare alcuni file di dati con estensioni di file non comuni ai loro post. Sono essenzialmente file di testo normale ma includono caratteri ASCII estesi.

Ho provato ad aggiornare la configurazione NGINX di Discourse per specificare i tipi MIME per questi file, ma non ha funzionato. Ho pubblicato un argomento (How to customize MIME media type emitted for certain attachments?) su questo due settimane fa ma non ho ancora ricevuto risposte. Anche se NGINX non viene aggiornato, servirà comunque tipi di file sconosciuti utilizzando il tipo MIME di fallback “application/octet-stream”. Posso conviverci per ora.

Tuttavia, quando gli utenti tentano di caricare questi file di dati in un post (utilizzando il pulsante “Carica” o trascinando e rilasciando), ricevono un popup di errore da Discourse simile a questo:

Sembra che quando gli utenti caricano file, Discourse stia cercando di essere intelligente e di rilevare se si tratta di un’immagine o di un altro tipo di file. Inoltre, sembra che stia facendo questa determinazione esaminando il contenuto del file (molto simile al comando standard Unix “file”). Presumo che questo sia in modo che Discourse possa decidere se incorporarlo nel contenuto del post o metterlo da parte come allegato.

Nel caso di questi file di dati, questo controllo sta identificando erroneamente i file come immagini. Solo per divertimento, ho messo alcuni di questi file di dati su una macchina Ubuntu e li ho controllati con il comando “file”, e in effetti, sono stati identificati come “dati immagine JPEG”.

C’è un modo per gli utenti di caricare file senza che Discourse cerchi di rilevare se sono immagini? Cioè, “Per favore, carica questo come allegato, non importa cosa, non incorporarlo”?

In alternativa, potrei configurare Discourse per consentire i file zip e dire agli utenti di comprimere i loro file prima di caricarli, ma preferirei non aprire il sito a caricamenti casuali di file zip. Sembra un problema di sicurezza.

Grazie in anticipo per qualsiasi aiuto!

Falco · 26 Ottobre 2023, 5:47pm

Un’altra soluzione è adottare un’estensione per quei file strani, come .bin, .data o davvero .anythinggoes, che dovrebbe essere sufficiente affinché Discourse li ignori.

xyzzy · 26 Ottobre 2023, 5:59pm

Grazie per la rapida risposta! Tuttavia, ho provato e non funziona. Discourse sta sicuramente guardando il contenuto del file, non l’estensione, per determinare se si tratta di un’immagine o meno.

xyzzy · 15 Novembre 2023, 11:54pm

Qualcuno ha qualche pensiero a riguardo? Sembra un bug piuttosto significativo.

Arkshine · 18 Novembre 2023, 6:26pm

Ho fatto qualche ricerca su questo problema.

In breve, il tuo file viene rilevato come JPEG perché inizia con la stessa firma di questo tipo di file.
È possibile correggere questo comportamento in Discourse, ma richiede una modifica. (vedi alla fine)

Ecco alcune informazioni tecniche.
Questo problema inizia qui:

github.com/discourse/discourse

lib/upload_creator.rb

main


      
          @image_info =
            begin
              FastImage.new(@file)
            rescue StandardError
              nil
            end
          is_image = FileHelper.is_supported_image?(@filename)
          is_image ||= @image_info && FileHelper.is_supported_image?("test.#{@image_info.type}")
          is_image = false if @opts[:for_theme]
          is_thumbnail = SiteSetting.video_thumbnails_enabled && @opts[:type] == "thumbnail"

La libreria FastImage apre il file e ne determina il tipo e le dimensioni.
Come previsto, restituisce un tipo JPEG.

Se guardi la firma JPEG, appare così:

Marcatori JPEG

Maggiori informazioni: List of file signatures - Wikipedia
JPEG - Wikipedia

Inizia sempre con i seguenti byte di marcatore: FF D8

Guardando il tuo campione di file con un editor esadecimale, vedrai che inizia allo stesso modo.

Ora, se guardi come FastImage rileva un JPEG, puoi vedere qui:

github.com/sdsykes/fastimage

lib/fastimage.rb

master


      
          # frozen_string_literal: true
          # coding: ASCII-8BIT
          
          # FastImage finds the size or type of an image given its uri.
          # It is careful to only fetch and parse as much of the image as is needed to determine the result.
          # It does this by using a feature of Net::HTTP that yields strings from the resource being fetched
          # as soon as the packets arrive.
          #
          # No external libraries such as ImageMagick are used here, this is a very lightweight solution to
          # finding image information.
          #
          # FastImage knows about GIF, JPEG, BMP, TIFF, ICO, CUR, PNG, HEIC/HEIF, AVIF, PSD, SVG, WEBP and JXL files.
          #
          # FastImage can also read files from the local filesystem by supplying the path instead of a uri.
          # In this case FastImage reads the file in chunks of 256 bytes until
          # it has enough. This is possibly a useful bandwidth-saving feature if the file is on a network
          # attached disk rather than truly local.
          #
          # FastImage will automatically read from any object that responds to :read - for
          # instance an IO object if that is passed instead of a URI.

This file has been truncated. show original

Tuttavia, non è possibile estrarre alcuna informazione sull’immagine poiché non sono presenti tutti i byte richiesti.

Come risolviamo questo problema in Discourse?
Guardando il codice di FastImage, c’è un’opzione preziosa che puoi passare.

github.com/sdsykes/fastimage

lib/fastimage.rb

master


      
          # frozen_string_literal: true
          # coding: ASCII-8BIT
          
          # FastImage finds the size or type of an image given its uri.
          # It is careful to only fetch and parse as much of the image as is needed to determine the result.
          # It does this by using a feature of Net::HTTP that yields strings from the resource being fetched
          # as soon as the packets arrive.
          #
          # No external libraries such as ImageMagick are used here, this is a very lightweight solution to
          # finding image information.
          #
          # FastImage knows about GIF, JPEG, BMP, TIFF, ICO, CUR, PNG, HEIC/HEIF, AVIF, PSD, SVG, WEBP and JXL files.
          #
          # FastImage can also read files from the local filesystem by supplying the path instead of a uri.
          # In this case FastImage reads the file in chunks of 256 bytes until
          # it has enough. This is possibly a useful bandwidth-saving feature if the file is on a network
          # attached disk rather than truly local.
          #
          # FastImage will automatically read from any object that responds to :read - for
          # instance an IO object if that is passed instead of a URI.

This file has been truncated. show original

Utilizzando questa opzione, qualsiasi errore (SizeNotFound, ImageFetchFailure, CannotParseImage, UnknownImageType, BadImageURI) restituirà nessuna informazione sull’immagine; e il tuo file non verrà rilevato come immagine.

@image_info =
  begin
    FastImage.new(@file, raise_on_failure: true)
  rescue StandardError
    nil
  end
...
is_image ||= @image_info && FileHelper.is_supported_image?("test.#{@image_info.type}")

Quindi, ora può funzionare:

Posso fare una PR più tardi. L’uso di questa opzione ha senso qui.

xyzzy · 21 Novembre 2023, 10:46pm

Wow! Questa è un’analisi fenomenale! Grazie!

Alcune domande rapide:

Quindi, con queste modifiche, il file non verrà rilevato come immagine e verrà caricato come non immagine e visualizzato a destra del post?
Se ho capito bene, mi stai suggerendo di apportare queste modifiche nella mia istanza locale di Discourse per provarle e/o usarle finché non saranno incluse in una futura versione di Discourse. Ma come faccio? (Sono uno sviluppatore software esperto ma ho esperienza limitata con Docker e nessuna con Ruby.)
La chiamata FastImage che dovrebbe essere modificata è in models/upload.rb, giusto?

Arkshine · 22 Novembre 2023, 1:32am

Sì, è corretto, come nello screenshot qui sopra
Non sto suggerendo di apportare la modifica. Tuttavia, se non puoi aspettare, potresti certamente testare quella modifica.

Per una modifica temporanea (scomparirà dopo la ricostruzione):

cd /var/discourse
./launcher enter app
sed -i "s/FastImage.new(@file)/FastImage.new(@file, :raise_on_failure=true)/" lib/upload_creator.rb
sed -i "s/FastImage.new(original_path)/FastImage.new(original_path, :raise_on_failure=true)/" app/models/upload.rb
exit

Per una modifica persistente (rimarrà dopo la ricostruzione):

cd /var/discourse
nano containers/app.yml  (usa il tuo editor preferito)

Aggiungi i seguenti comandi personalizzati alla fine (sezione run):

  - replace:
      filename: "/var/www/discourse/lib/upload_creator.rb"
      from: "FastImage.new(@file)"
      to: "FastImage.new(@file, :raise_on_failure=true)"
  - replace:
      filename: "/var/www/discourse/app/models/upload.rb"
      from: "FastImage.new(original_path)"
      to: "FastImage.new(original_path, :raise_on_failure=true)"

Quindi, ricostruisci:

./launcher rebuild app

Immagino di sì se hai intenzione di caricare file senza estensioni. Non ho controllato se altre occorrenze richiedessero la stessa modifica.

xyzzy · 25 Novembre 2023, 12:39am

@Arkshine – Grazie mille per questi dettagli. Sono riuscito a testare entrambe le correzioni separatamente (ognuna su una VM ripristinata di fresco) e hanno funzionato entrambe!

Note:

Per la correzione temporanea, ho dovuto eseguire “launcher restart app” affinché le modifiche avessero effetto.
Sembra che anche “spec/models/optimized_image_spec.rb” abbia un riferimento a FastImage.new(). Deve essere aggiornato anche questo come gli altri?

Grazie ancora per il tuo aiuto!

Arkshine · 25 Novembre 2023, 12:44am

Sono contento che funzioni.

Questo è solo a scopo di test, quindi non devi preoccupartene.

xyzzy · 25 Novembre 2023, 12:48am

Ottimo! Grazie! Ora che l’ho testato nel mio ambiente di sviluppo, lo distribuiremo negli ambienti di test e di produzione.

A proposito, se hai tempo, mi piacerebbe avere la tua opinione su un problema correlato (How to customize MIME media type emitted for certain attachments?).

system · 25 Dicembre 2023, 12:49am

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.

Argomento		Risposte	Visualizzazioni
Security checks on uploads Support	37	7463	Dicembre 2, 2018
Something missing in "Select images or files from your device ()"? Bug	6	1109	Ottobre 22, 2015
Incorrect mime-types (content-type header) for mp4 and js Bug	10	888	Gennaio 7, 2025
Faster (and smaller) uploads in Discourse with Rust, WebAssembly and MozJPEG \| Blog Blog	36	4884	Maggio 13, 2025
Add the .svg file extension to "image files" Feature	18	1259	Ottobre 10, 2025

Discourse rileva erroneamente il file caricato come immagine

Argomenti correlati