Я имел в виду, что A-запись mail.domain.tld установлена в режим «Только DNS», а не A-запись forum.domain.tld. Однако я понял, что неправильно интерпретировал способ аутентификации TLS-сертификатов SMTP-клиентами.
Наблюдаемое мной поведение было артефактом метода по умолчанию (оппортунистический режим), который не проверяет имя хоста. Поэтому моё утверждение о том, что проверяется имя хоста MX-записи, а не целевой сервер этой записи, было неверным. В большинстве случаев это работает, но не в ситуациях, когда для принудительной аутентификации TLS-идентичности используются DANE или MTA-STS.