No meu caso, eu optaria por isso, pois garantimos que as imagens adicionadas aos tópicos que tweetamos em nossa conta tenham tamanho suficiente. Pelo que sei, o Twitter automaticamente recorre à versão pequena se você não fornecer uma imagem grande o suficiente, mesmo quando summary_large_image é fornecido.
Ainda melhor seria se os tamanhos das imagens fossem validados pelo núcleo e, dependendo dos tamanhos mínimos necessários, usasse summary ou summary_large_image (mínimo 300x157) automaticamente.
Se isso não for possível de forma alguma, eu certamente ficaria feliz em ter pelo menos a opção de usar summary_large_image em vez de summary.