La pagina mostrata a quel dominio sembra una pagina predefinita fornita da un altro software server web (Apache, credo) il che potrebbe significare che hai creato il tuo VPS utilizzando un’immagine LAMP.
Quando hai creato il VPS, hai scelto un’opzione che menzionava qualcosa sull’hosting di siti web? Se è così, potrebbe valere la pena ricreare il VPS con un’immagine diversa, un’immagine Ubuntu di base che non include alcun software per l’hosting web.