Desde a versão beta 4 do 2.9.0, as configurações DISCOURSE_SMTP_OPENSSL_VERIFY_MODE e DISCOURSE_SMTP_ENABLE_START_TLS não funcionam mais corretamente.
Isso parece estar relacionado à migração para o Rails 7, que atualizou o net-smtp de 0.1.0 para 0.3.1, alterando os padrões desses dois parâmetros de conexão.
A forma como o gem smtp chama o net-smtp não desativa enable_starttls_auto e openssl_verify_mode; ela apenas os ativa quando habilitados.
Tecnicamente, este bug está fora do código do Discourse, pois ocorre no gem smtp, mas como ele está atualmente bifurcado para o Discourse, acho que isso justifica um tópico em Contribute > Bug. Se não puder ser corrigido facilmente, esses parâmetros podem ser removidos da documentação e talvez um aviso de descontinuação possa ser exibido, para que pelo menos toda a confusão desapareça.