Encontrei o mesmo problema e descobri este tópico em uma pesquisa na web, e parece que (assim como com os servidores de e-mail do Microsoft 365 antes de eles desativarem a autenticação baseada em senha) apenas AUTH LOGIN é suportado, não AUTH PLAIN que é o padrão no Discourse no momento em que este texto foi escrito.
Definir DISCOURSE_SMTP_AUTHENTICATION: login na configuração do contêiner faz o e-mail funcionar. Vale notar também que, por padrão, o único e-mail ‘de’ permitido é o padrão DoNotReply@domain.example - se você não definir isso, seus e-mails serão rejeitados com “550 5.3.5 Email sender’s username is invalid”.