@Magnetidog Ci sono riuscito.
Ho essenzialmente creato la distribuzione AWS Cloudfront come spiegato in questo video.
Poi, sono andato nel pannello di amministrazione e ho aggiunto il mio URL Cloudfront alla chiave s3 cdn url.
Successivamente, sono entrato nel container e ho rifatto il baking di tutti i post con rake posts:rebake (mi sono serviti circa 10 minuti per ogni 7000 post).
Ho anche provato a farlo in batch dalla console di Rails, ma per qualche motivo non ha funzionato: Post.in_batches.update_all('baked_version = NULL') (non è successo nulla 
:male_sign:)