A página exibida nesse domínio parece uma página padrão fornecida por outro software de servidor web (Apache, eu acho) o que pode significar que você criou seu VPS usando uma imagem LAMP.
Quando você criou o VPS, você escolheu uma opção que mencionava algo sobre hospedagem de sites? Se sim, pode valer a pena recriar o VPS com uma imagem diferente, uma imagem base do Ubuntu que não inclua nenhum software para hospedagem de sites.