@Magnetidog 드디어 성공했습니다.
이 영상에 설명된 대로 AWS Cloudfront 분배를 기본적으로 생성했습니다.
그다음 관리 패널에 가서 s3 cdn url 키에 Cloudfront URL을 추가했습니다.
그 후 컨테이너에 진입하여 rake posts:rebake로 모든 게시물을 다시 생성했습니다(7,000개 게시물당 약 10분 정도 걸렸습니다).
Rails 콘솔에서 배치로 처리하는 것도 시도해 보았지만, Post.in_batches.update_all('baked_version = NULL')를 실행해도 아무 반응이 없었습니다 
:male_sign: