Ver Solución de problemas de correo electrónico en una nueva instalación de Discourse.
El problema probablemente sea que tu dirección de correo electrónico de notificación no es una desde la que tu servidor de correo esté configurado para enviar.
Pero eso no explica los errores de “tiempo de espera agotado de la conexión”. Eso suena a algún problema de red de Docker.