Recomendaría la instalación en subdominio por razones obvias. foro.ejemplo.com no es tan mala opción cuando se trata de alojar un foro para tu sitio web.
También puedes optar por la ruta de subcarpeta, como sugirió @pfaffman anteriormente, pero en cualquier caso, tendrás que conseguir un servidor distinto a tu cuenta de HostGator.
Necesitas lo que se conoce como un VPS con acceso root para instalar y gestionar Discourse.
Espero que esto te ayude.