Я решил потратить ещё полчаса, чтобы разобраться в этом, и, думаю, нашёл причину.
Похоже, это связано с переходом на Rails 7, который обновил net-smtp с версии 0.1.0 до 0.3.1 и изменил настройки по умолчанию.
Библиотека smtp при вызове net-smtp не отключает параметры enable_starttls_auto и openssl_verify_mode, а включает их только если они уже активированы.