Decidí dedicar media hora más a investigar esto y creo que encontré la causa.
Esto parece estar relacionado con el cambio a Rails 7, que actualizó net-smtp de 0.1.0 a 0.3.1, lo que cambió los valores predeterminados.
La forma en que la gema smtp llama a net-smtp no deshabilita enable_starttls_auto y openssl_verify_mode, solo lo habilita cuando está habilitado.