De acordo com o código
O SMTP deve ser configurado em config/discourse.conf.
Para mim, tenho estas linhas nele:
smtp_user_name = '...com'
smtp_address = '...com'
smtp_port = '587'
smtp_password = '...'
smtp_domain = '...com'
notification_email = 'noreply@....com'
Você já verificou os logs? Para esta instalação personalizada, o log está em production.log, production.log, puma.stdout.log no diretório log.