Похоже, ошибка возникает еще до попытки входа.
Чтобы исключить Discourse как причину, попробуйте выполнить проверку как с хоста, так и внутри контейнера:
$ openssl s_client -connect smtp.mailgun.org:587 -starttls smtp
Вы должны увидеть множество строк вывода, после чего сможете попытаться выполнить аутентификацию:
○ → openssl s_client -connect smtp.mailgun.org:587 -starttls smtp
Connecting to 34.160.63.108
CONNECTED(00000003)
…
SSL-Session:
…
---
read R BLOCK
EHLO localhost
250-2ed1d46f4d7dec773e2a97b59f3a3bf8a2d6db54f94eead5dcf49e3ea1caac18
250-AUTH PLAIN LOGIN
250-SIZE 52428800
250-8BITMIME
250-SMTPUTF8
250 PIPELINING
AUTH PLAIN bWljaGFlbABtaWNoYWVsAHBhc3N3b3Jk
501 Username used for auth is not valid email address
535 Authentication failed
closed
Строки, которые нужно ввести:
EHLO localhost
AUTH PLAIN bWljaGFlbABtaWNoYWVsAHBhc3N3b3Jk
(эта строка содержит учётные данные michael/password, поэтому она, разумеется, не сработает, но вы можете посмотреть этот пост, чтобы узнать, как сформировать строку для ваших реальных учётных данных, если захотите попробовать вручную)
Надеюсь, что наглядное наблюдение за тем, что работает, а что нет, поможет.
Также можно попробовать использовать утилиту swaks, если она доступна — скорее всего, это пакет ОС, который можно установить.
Это немного проще, и вы можете, например, выполнить:
swaks --to frodo@shire.net --from bilbo@shire.net --auth PLAIN --auth-user bilbo --auth-password ring --server smtp.mailgun.org:587 --tls
только с вашими реальными учётными данными.
Вывод этой команды также может помочь выявить проблему.