Где вы размещены?
Я открыл тикет в службу поддержки DigitalOcean по этому вопросу и получил подтверждение, что это проблема, но только для droplet’ов с включённым IPv6.
Docker Hub ограничивает скорость запросов на основе диапазона адресов, а не одного IP-адреса для IPv6 (из-за чего лимит в 100 запросов за 6 часов для анонимных пользователей исчерпывается практически мгновенно у крупных провайдеров VPS).
Если вы отключите IPv6, вы сможете выполнить сборку заново.