La página que se muestra en ese dominio parece una página predeterminada proporcionada por algún otro software de servidor web (Apache, creo) lo que podría significar que has creado tu VPS usando una imagen LAMP.
Cuando creaste el VPS, ¿elegiste una opción que mencionara algo sobre alojamiento de sitios web? Si es así, podría valer la pena recrear el VPS con una imagen diferente, una imagen base de Ubuntu que no incluya ningún software para alojamiento web.