¿Verificaste que tu proveedor no esté bloqueando las conexiones salientes hacia mail.domain.com en el puerto 465?
Si tu servidor de correo espera forums@domain.com como correo de notificación, ¿cambiaste esa configuración en Discourse?
Ah, pero espera. Tienes Discourse configurado para usar el puerto 587, pero la captura de pantalla que proporcionaste muestra el puerto 465, así que quizás debas indicarle a Discourse que use ese puerto.
¿Revisaste Solución de problemas de correo en una instalación nueva de Discourse?