Você precisa remover o nginx para uma instalação padrão. O Discourse inclui seu próprio nginx, então você não precisa de outro (a menos que queira por algum outro motivo, o que torna a instalação mais complicada).
O script tenta se conectar a si mesmo usando seu nome de domínio. Se o nome de domínio apontar para sua VM, ele deverá ser capaz de contatá-la através desse nome de host, dado que o DNS está correto e não há nada mais usando as portas 443 e 80.
Se você ignorar a verificação várias vezes, atingirá os limites de quantas tentativas pode fazer para obter um certificado https do Let’s Encrypt.