reply_by_email_address не используется как адрес «от», а как адрес envelope-from, именно для того, чтобы корректно работали уведомления о недоставке.
Вот изображение, демонстрирующее, как используется каждый адрес. Сами адреса специфичны для нашего хостинга, но их достаточно для примера.
notification_email: notifications@hs1.discoursemail.com
reply_by_email_address: incoming+%{reply_key}@hs1.discoursemail.com
Уведомление:
Сообщение с возможностью ответа:

