Что не так с Postfix? Он входил в первое руководство по настройке почтового сервера, которое я прочитал, и его внутренние возможности фильтрации для раннего сокращения спама и доступа ботов в конвейере показались веским аргументом.
Что ж, это немного не по теме, касается использования sendmail/pickup в Discourse.
Отмечаю это как решённое/ответленное. Имеет смысл, что контейнер Discourse не может получить доступ к sendmail хоста, независимо от того, какой это сервер. Поэтому ему нужно использовать SMTP-отправку, для чего можно аутентифицироваться, например, через диапазон IP-адресов контейнера Docker в Postfix, минуя аутентификацию passdb/userdb в Dovecot.