Pelo que entendi e verifiquei em meus testes, a configuração recompress original jpg quality irá reamostrar a imagem independentemente do que for definido abaixo de 100.
max image size kb é o que acionará uma reamostragem se estiver acima deste tamanho, mesmo com a configuração acima em 100. Ambos acontecem no lado do servidor.
composer media optimization image enabled acontece no lado do cliente e reamostrará uma imagem antes mesmo de ser carregada. Desliguei essa configuração porque ela remove os metadados, pode ser que também esteja fazendo alguma reamostragem no seu caso.