Recomendo a instalação em subdomínio por motivos óbvios.
forum.exemplo.com não é tão ruim quando se trata de hospedar um fórum para seu site.
Você também pode optar pela rota de subpasta, como sugerido por @pfaffman acima, mas em qualquer caso, você precisará de um servidor diferente da sua conta HostGator.
Você precisa do que é chamado de VPS com acesso root para instalar e gerenciar o Discourse.
Espero que isso ajude.