Hai controllato che il tuo provider non stia bloccando le connessioni in uscita verso mail.domain.com sulla porta 465?
Se il tuo server di posta si aspetta forums@domain.com come indirizzo email per le notifiche, hai modificato questa impostazione in Discourse?
Ah, ma aspetta. Hai configurato Discourse per utilizzare la porta 587, ma lo screenshot che hai fornito mostra la porta 465, quindi forse dovresti indicare a Discourse di utilizzare quella porta.
Hai consultato Risoluzione dei problemi di posta elettronica su una nuova installazione di Discourse?