@Magnetidog Acabo de conseguir que funcione.
Básicamente, creé la distribución de AWS Cloudfront como se explica en este video.
Luego, fui al panel de administración y agregué mi URL de Cloudfront a la clave s3 cdn url.
Después, ingresé al contenedor y rebakeé todos los posts con rake posts:rebake (me tomó alrededor de 10 minutos por cada 7000 posts).
También intenté hacerlo por lotes en la consola de Rails, pero por alguna razón esto no funcionó: Post.in_batches.update_all('baked_version = NULL') (no pasó nada 
:male_sign:)