Este é um problema de rede entre seu provedor de VPS (Bloom) e o CDN do RubyGems. Existem vários relatos de que isso é causado por tráfego entre a Level3 e a Fastly e pela falha em detectar corretamente o tamanho do pacote para essa rota.
Um usuário relatou sucesso ao contornar esse problema reduzindo o MTU do host: