Necesitas eliminar nginx para una instalación estándar. Discourse incluye su propio nginx, por lo que no necesitas otro (a menos que quieras uno por alguna otra razón, lo que complica la instalación).
El script intenta conectarse a sí mismo usando tu nombre de dominio. Si el nombre de dominio apunta a tu VM, entonces debería poder contactarse a sí mismo a través de ese nombre de host dado que el DNS es correcto y no hay nada más usando los puertos 443 y 80.
Si omites la verificación varias veces, alcanzarás los límites de cuántos intentos puedes hacer para obtener un certificado https de Let’s Encrypt.