Decidi gastar mais meia hora investigando isso e acho que encontrei a causa.
Isso parece estar relacionado à migração para o Rails 7, que atualizou o net-smtp de 0.1.0 para 0.3.1, o que alterou os padrões.
A maneira como a gem smtp chama net-smtp não desabilita enable_starttls_auto e openssl_verify_mode, ela apenas o habilita quando habilitado.