Empezaría con una configuración de dos contenedores con los activos en S3 y una CDN delante del sitio y el bucket de S3. Empezaría con 8 GB o 16 GB de RAM, quizás dependiendo de lo que esté usando ahora mismo.
¿Cuántas visitas a la página tiene al día y/o al mes?
Si eso no es suficiente, podría añadir un balanceador de carga y más servidores ejecutando el contenedor web.
¿Cuánto CPU y RAM está utilizando ahora? ¿Qué plataforma?