¿Has consultado Solucionar problemas de correo electrónico en una nueva instalación de Discourse?
Los problemas más probables son que el puerto esté bloqueado y que tu servidor de correo no esté configurado para el nombre de host desde el que intentas enviar (generalmente el dominio de tu foro).