Se você quiser depurar seu smtp, consulte Troubleshoot email on a new Discourse install - #547 by Nikolai_Patrushev ou talvez Solução de problemas de e-mail de saída. Discourse-setup não é realmente a melhor maneira.
Apenas execute a tarefa rake você mesmo, edite o yml e destrua e inicie o contêiner, então saia e tente novamente.