Ho deciso di dedicare ancora mezz’ora a indagare su questo e penso di aver trovato la causa.
Sembra essere correlato al passaggio a Rails 7, che ha aggiornato net-smtp da 0.1.0 a 0.3.1, modificando i valori predefiniti.
Il modo in cui la gemma smtp chiama net-smtp non disabilita enable_starttls_auto e openssl_verify_mode, li abilita solo quando sono abilitati.