¿Tiempo del primer byte vs CDN?

No, no hay ninguno. La CDN almacenará en caché esos recursos de S3 cuando sea necesario.

Eso es simplemente una dirección de vanidad, no es necesaria en absoluto.