Você verificou se seu provedor de hospedagem não está bloqueando conexões de saída para mail.domain.com na porta 465?
Se seu servidor de e-mail espera forums@domain.com como e-mail de notificação, você alterou essa configuração no Discourse?
Ah, mas espere. Você configurou o Discourse para usar a porta 587, mas a captura de tela que você forneceu mostra a porta 465, então talvez você queira configurar o Discourse para usar essa porta.
Você viu Solução de problemas de e-mail em uma nova instalação do Discourse?