これは、VPS ホスト（Bloom）と RubyGems CDN の間のネットワーク問題です。Level3 と Fastly 間のトラフィックが原因で、このルートにおけるパケットサイズの検出に失敗しているという報告が複数あります。
あるユーザーは、ホストの MTU を下げることでこの問題を回避できたと報告しています。