Что мне использовать для настройки почтовой системы или какое программное обеспечение можно установить на Ubuntu, чтобы оно работало как почтовый сервис для моих форумов?
Я пытался настроить это с помощью Mailcow, но у меня не получилось.
Для отправки я использую Mailgun, а для получения ответов по электронной почте — mail-reciever.
Как мне это настроить?
Mailgun — это сервис, для которого нужно просто зарегистрироваться (что делает процесс максимально простым 
). Если вы хотите попробовать настроить собственный почтовый сервер, ознакомьтесь с этой темой, где собраны полезные советы: Where can I find steps for setting up email with my own SMTP server?
Однако для исходящей почты рекомендуется использовать специализированный сервис, чтобы избежать лишних хлопот.