Pela sua descrição, minha suposição seria que seu servidor está resolvendo registros ipv6 ao fazer consultas DNS (nós usamos getaddrinfo para isso). Mas então, ao tentar conectar-se a eles, falha.
Isso pode ser porque ele tenta o endereço ip6, falha e, em seguida, volta para o endereço ip4. Atualmente, não temos esse tipo de lógica de fallback em FinalDestination#resolve: