Según el código
SMTP debe configurarse en config/discourse.conf.
Para mí, tengo estas líneas en él:
smtp_user_name = '...com'
smtp_address = '...com'
smtp_port = '587'
smtp_password = '...'
smtp_domain = '...com'
notification_email = 'noreply@....com'
¿Has revisado los registros? Para esta instalación personalizada, el registro está en production.log, production.log, puma.stdout.log en el directorio log.