A página exibida nesse domínio parece uma página padrão fornecida por outro software de servidor web (Apache, eu acho) o que pode significar que você criou seu VPS usando uma imagem LAMP.
Quando você criou o VPS, você escolheu uma opção que mencionava algo sobre hospedagem de sites? Se sim, pode valer a pena recriar o VPS com uma imagem diferente, uma imagem base do Ubuntu que não inclua nenhum software para hospedagem de sites.
Se você seguir o processo de instalação recomendado, não poderá ter outro servidor web instalado, portanto, precisará não ter o Apache. Existem tópicos sobre a instalação do Discourse com outros servidores web.