Existe diferença entre usar CDN para arquivos no S3 e manter arquivos na máquina?

Se os arquivos estão hospedados juntos no servidor e não externamente, isso tem algum impacto (positivo ou negativo) no cdn (CloudFront)?

Quero mover os arquivos para o S3 para configurar também o CDN (separado). Vale a pena ou não faz todo o sentido fazer isso (VPS de 50GB (20GB gratuitos))?