Вы смотрели статью Устранение неполадок с электронной почтой на новой установке Discourse?
Наиболее вероятные проблемы: порт заблокирован, а ваш почтовый сервер не настроен для доменного имени, с которого вы пытаетесь отправлять письма (обычно это домен вашего форума).