La página que se muestra en ese dominio parece una página predeterminada proporcionada por algún otro software de servidor web (Apache, creo) lo que podría significar que has creado tu VPS usando una imagen LAMP.
Cuando creaste el VPS, ¿elegiste una opción que mencionara algo sobre alojamiento de sitios web? Si es así, podría valer la pena recrear el VPS con una imagen diferente, una imagen base de Ubuntu que no incluya ningún software para alojamiento web.
Si sigues el proceso de instalación recomendado, no podrás tener otro servidor web instalado, por lo que necesitarás no tener apache. Hay temas sobre la instalación de Discourse con otros servidores web.