Es algo bastante avanzado de hacer. No lo recomiendo.
Puedes echar un vistazo a Configurar Discourse en un servidor con sitios Apache existentes. Esa es la guía paso a paso que buscas, pero me temo que los pasos serán difíciles de entender si acabas de empezar con estas cosas.
Si puedes trasladar con éxito tus servidores de un hosting normal a tu propio servidor, entonces puedes considerar intentar añadir Discourse a la mezcla.
Además, no intentaría hacerlo sin al menos 4 GB de RAM.