Veja Solução de problemas de e-mail em uma nova instalação do Discourse.
O problema provavelmente é que seu endereço de e-mail de notificação não é um que você configurou seu servidor de marca para enviar.
Mas isso não explica os erros de “tempo limite de conexão”. Isso parece um problema de rede do docker.