Если вы хотите отладить свой SMTP, обратитесь к статье Troubleshoot email on a new Discourse install - #547 by Nikolai_Patrushev или, возможно, к Устранение неполадок исходящей почты. Настройка через Discourse-setup не является лучшим решением.
Просто запустите задачу rake самостоятельно, затем отредактируйте файл yml, уничтожьте и запустите контейнер, после чего выйдите и попробуйте снова.