Claro, pero por eso debes poner un CDN frente a S3. No sirvas las imágenes directamente desde S3, eso será ridículamente costoso 
. Puedes poner CloudFront o incluso CloudFlare frente a S3 bastante fácilmente. El nivel gratuito de CloudFlare logrará esto.
Además, almacenarlas localmente también es un problema bastante grave; vas a necesitar escalar tu VPS innecesariamente. El SSD local será mucho más costoso.