Настройка discourse.domain.com с основным сайтом на domain.com

Стандартная настройка для достижения вашей цели — два сервера.

Я считаю, что это можно реализовать на одном сервере… Я сам этого не пробовал. Удачи.

Вам нужно объяснить клиенту, что корневой домен и любые поддомены — это разные веб-сайты.
Особенно если они рассчитывают на рост числа посетителей.