Eu começaria com uma configuração de dois contêineres, com os ativos no S3 e uma CDN na frente do site e do bucket S3. Eu começaria com 8 GB ou 16 GB de RAM, talvez dependendo do que você está usando no momento.
Quantas visualizações de página você tem por dia e/ou mês?
Se isso não for suficiente, você pode adicionar um balanceador de carga e mais servidores executando o contêiner da web.
Quanto de CPU e RAM você está usando agora? Qual plataforma?