Onde você está hospedado?
Abri um caso de suporte com a DigitalOcean para isso e tenho uma confirmação de que este é um problema, mas apenas para instâncias com IPv6 ativado.
O Docker Hub está limitando a taxa com base no intervalo de rede em vez de um único IP para IPv6 (o que esgota 100 downloads a cada 6 horas para downloads anônimos quase instantaneamente para grandes provedores de VPS).
Se você desativar o IPv6, deverá conseguir reconstruir.