Discourse detectando incorretamente arquivo enviado como imagem

xyzzy · Outubro 26, 2023, 5:44pm

Tenho alguns usuários de engenharia que desejam anexar arquivos de dados com extensões de arquivo incomuns às suas postagens. Essencialmente, são arquivos de texto simples, mas incluem caracteres ASCII estendidos.

Tentei atualizar a configuração NGINX do Discourse para especificar tipos de mídia MIME para esses arquivos, mas não funcionou. Postei um tópico (How to customize MIME media type emitted for certain attachments?) sobre isso há duas semanas, mas ainda não recebi respostas. Mesmo que o NGINX não seja atualizado, ele ainda servirá tipos de arquivo desconhecidos usando o tipo MIME de fallback “application/octet-stream”. Posso conviver com isso por enquanto.

No entanto, quando os usuários tentam carregar esses arquivos de dados em uma postagem (usando o botão “Upload” ou arrastando e soltando), eles recebem um pop-up de erro do Discourse como este:

Parece que, quando os usuários carregam arquivos, o Discourse está tentando ser inteligente e detectar se é uma imagem ou algum outro tipo de arquivo. Além disso, parece estar fazendo essa determinação olhando o conteúdo do arquivo (muito parecido com o comando Unix padrão “file”). Presumo que seja para que o Discourse possa decidir se o incorpora ao conteúdo da postagem ou o coloca de lado como um anexo.

No caso desses arquivos de dados, essa verificação está identificando incorretamente os arquivos como imagens. Só por diversão, coloquei alguns desses arquivos de dados em uma caixa Ubuntu e verifiquei-os com o comando “file”, e, com certeza, eles foram identificados como “dados de imagem JPEG”.

Existe alguma maneira de os usuários carregarem arquivos sem que o Discourse tente detectar se são imagens? Ou seja, “Por favor, carregue isso como um anexo, não importa o quê, não o incorpore”?

Alternativamente, eu poderia configurar o Discourse para permitir arquivos zip e dizer aos usuários para compactarem seus arquivos antes de carregá-los, mas eu preferiria não abrir o site para uploads aleatórios de arquivos zip. Isso parece uma questão de segurança.

Obrigado antecipadamente por qualquer ajuda!

Falco · Outubro 26, 2023, 5:47pm

Outra solução alternativa é adotar uma extensão para esses arquivos estranhos, como .bin, .data ou realmente .anythinggoes, o que deve ser suficiente para o Discourse manter esses arquivos em paz.

xyzzy · Outubro 26, 2023, 5:59pm

Obrigado pela resposta rápida! No entanto, tentei isso e não funcionou. O Discourse está definitivamente olhando o conteúdo do arquivo, e não a extensão, para determinar se é uma imagem ou não.

xyzzy · Novembro 15, 2023, 11:54pm

Alguém tem alguma opinião sobre isso? Isso parece um bug bem significativo.

Arkshine · Novembro 18, 2023, 6:26pm

Investiguei esse problema.

Resumindo, seu arquivo está sendo detectado como JPEG porque começa com a mesma assinatura deste tipo de arquivo.
Corrigir esse comportamento no Discourse é possível, mas requer uma modificação. (veja no final)

Aqui algumas coisas técnicas.
Este problema começa aqui:

github.com/discourse/discourse

lib/upload_creator.rb

main


      
          @image_info =
            begin
              FastImage.new(@file)
            rescue StandardError
              nil
            end
          is_image = FileHelper.is_supported_image?(@filename)
          is_image ||= @image_info && FileHelper.is_supported_image?("test.#{@image_info.type}")
          is_image = false if @opts[:for_theme]
          is_thumbnail = SiteSetting.video_thumbnails_enabled && @opts[:type] == "thumbnail"

A biblioteca FastImage abre o arquivo e determina o tipo e o tamanho.
Como esperado, ela retorna um tipo JPEG.

Se você olhar a assinatura JPEG, ela se parece com isto:

Marcadores JPEG

Mais informações: List of file signatures - Wikipedia
JPEG - Wikipedia

Sempre começa com os seguintes bytes de marcador: FF D8

Olhando para sua amostra de arquivo com um editor hexadecimal, você verá que começa da mesma forma.

Agora, se você olhar como o FastImage detecta um JPEG, você pode ver aqui:

github.com/sdsykes/fastimage

lib/fastimage.rb

master


      
          # frozen_string_literal: true
          # coding: ASCII-8BIT
          
          # FastImage finds the size or type of an image given its uri.
          # It is careful to only fetch and parse as much of the image as is needed to determine the result.
          # It does this by using a feature of Net::HTTP that yields strings from the resource being fetched
          # as soon as the packets arrive.
          #
          # No external libraries such as ImageMagick are used here, this is a very lightweight solution to
          # finding image information.
          #
          # FastImage knows about GIF, JPEG, BMP, TIFF, ICO, CUR, PNG, HEIC/HEIF, AVIF, PSD, SVG, WEBP and JXL files.
          #
          # FastImage can also read files from the local filesystem by supplying the path instead of a uri.
          # In this case FastImage reads the file in chunks of 256 bytes until
          # it has enough. This is possibly a useful bandwidth-saving feature if the file is on a network
          # attached disk rather than truly local.
          #
          # FastImage will automatically read from any object that responds to :read - for
          # instance an IO object if that is passed instead of a URI.

This file has been truncated. show original

No entanto, você não pode extrair nenhuma informação da imagem, pois nem todos os bytes necessários estão presentes.

Como corrigimos esse problema no Discourse?
Olhando o código do FastImage, há uma opção valiosa que você pode passar.

github.com/sdsykes/fastimage

lib/fastimage.rb

master


      
          # frozen_string_literal: true
          # coding: ASCII-8BIT
          
          # FastImage finds the size or type of an image given its uri.
          # It is careful to only fetch and parse as much of the image as is needed to determine the result.
          # It does this by using a feature of Net::HTTP that yields strings from the resource being fetched
          # as soon as the packets arrive.
          #
          # No external libraries such as ImageMagick are used here, this is a very lightweight solution to
          # finding image information.
          #
          # FastImage knows about GIF, JPEG, BMP, TIFF, ICO, CUR, PNG, HEIC/HEIF, AVIF, PSD, SVG, WEBP and JXL files.
          #
          # FastImage can also read files from the local filesystem by supplying the path instead of a uri.
          # In this case FastImage reads the file in chunks of 256 bytes until
          # it has enough. This is possibly a useful bandwidth-saving feature if the file is on a network
          # attached disk rather than truly local.
          #
          # FastImage will automatically read from any object that responds to :read - for
          # instance an IO object if that is passed instead of a URI.

This file has been truncated. show original

Usando essa opção, qualquer erro (SizeNotFound, ImageFetchFailure, CannotParseImage, UnknownImageType, BadImageURI) não retornará nenhuma informação de imagem; e seu arquivo não será detectado como uma imagem.

@image_info =
  begin
    FastImage.new(@file, raise_on_failure: true)
  rescue StandardError
    nil
  end
...
is_image ||= @image_info && FileHelper.is_supported_image?("test.#{@image_info.type}")

Então, pode funcionar agora:

Posso fazer um PR mais tarde. Usar essa opção faz sentido aqui.

xyzzy · Novembro 21, 2023, 10:46pm

Uau! Esta é uma análise fenomenal! Obrigado!

Algumas perguntas rápidas:

Então, com essas alterações, o arquivo não será detectado como uma imagem e será carregado como não imagem, sendo exibido à direita da postagem?
Se entendi corretamente, você está sugerindo que eu faça esses ajustes na minha instância local do Discourse para experimentar e/ou usar isso até que seja incluído em uma futura versão do Discourse. Mas como faço isso? (Sou um desenvolvedor de software experiente, mas tenho experiência limitada com Docker e nenhuma com Ruby.)
A chamada FastImage que precisaria ser ajustada está em models/upload.rb, certo?

Arkshine · Novembro 22, 2023, 1:32am

Sim, está correto – como na minha captura de tela acima
Não estou sugerindo que você faça a modificação. No entanto, se você não puder esperar, certamente poderá testar essa alteração.

Para uma alteração temporária (desaparece após a reconstrução):

cd /var/discourse
./launcher enter app
sed -i "s/FastImage.new(@file)/FastImage.new(@file, :raise_on_failure=true)/" lib/upload_creator.rb
sed -i "s/FastImage.new(original_path)/FastImage.new(original_path, :raise_on_failure=true)/" app/models/upload.rb
exit

Para uma alteração persistente (permanece após a reconstrução):

cd /var/discourse
nano containers/app.yml  (use seu editor preferido)

Adicione os seguintes comandos personalizados no final (seção run):

  - replace:
      filename: "/var/www/discourse/lib/upload_creator.rb"
      from: "FastImage.new(@file)"
      to: "FastImage.new(@file, :raise_on_failure=true)"
  - replace:
      filename: "/var/www/discourse/app/models/upload.rb"
      from: "FastImage.new(original_path)"
      to: "FastImage.new(original_path, :raise_on_failure=true)"

Em seguida, reconstrua:

./launcher rebuild app

Acho que sim, se você planeja carregar arquivos sem extensões. Não verifiquei se outras ocorrências exigiam a mesma alteração.

xyzzy · Novembro 25, 2023, 12:39am

@Arkshine – Muito obrigado por esses detalhes. Consegui testar ambas as correções separadamente (cada uma em uma VM recém-restaurada) e ambas funcionaram!

Observações:

Para a correção temporária, precisei executar “./launcher restart app” para que as alterações tivessem efeito.
Parece que “spec/models/optimized_image_spec.rb” também tem uma referência a FastImage.new(). Isso também precisa ser atualizado como o resto?

Obrigado novamente pela sua ajuda!

Arkshine · Novembro 25, 2023, 12:44am

Fico feliz que funcione.

Isso é apenas para fins de teste, então você não precisa se preocupar com isso.

xyzzy · Novembro 25, 2023, 12:48am

Ótimo! Obrigado! Agora que testei isso no meu ambiente de desenvolvimento, vou implantar nos ambientes de teste e produção.

A propósito, se tiver tempo, adoraria saber sua opinião sobre um problema relacionado (How to customize MIME media type emitted for certain attachments?).

system · Dezembro 25, 2023, 12:49am

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.

Tópico		Respostas	Visualizações
Security checks on uploads Support	37	7461	2 de Dezembro de 2018
Something missing in "Select images or files from your device ()"? Bug	6	1109	22 de Outubro de 2015
Incorrect mime-types (content-type header) for mp4 and js Bug	10	886	7 de Janeiro de 2025
Faster (and smaller) uploads in Discourse with Rust, WebAssembly and MozJPEG \| Blog Blog	36	4883	13 de Maio de 2025
Add the .svg file extension to "image files" Feature	18	1259	10 de Outubro de 2025

Discourse detectando incorretamente arquivo enviado como imagem

Tópicos relacionados