それはバグのようにも思えますが、メール送信コードにバグがあるとは考えにくいですね。
Troubleshooting email on a new Discourse install を参照して、試せることを確認してください。（discourse-doctor を実行せずにテストする方法など）。
ああ、これだ。「YES」は smtp_validation の有効な値ではありません。
Must be plain, login, or cram_md5.
これは app/services/email_settings_validator.rb にあります。githubで見つけたい人がいるかもしれません。