Você está falando do TTFB em qual caminho exatamente?
O TTFB para um recurso estático (como um arquivo JS ou uma imagem JPG enviada por um usuário) será sempre rápido ao usar uma CDN, pois a latência de vários PoPs ajudará nisso.
Por outro lado, comparar o TTFB de rotas dinâmicas não faz sentido, já que nosso DISCOURSE_CDN_URL não cobre esses casos de qualquer forma.