Você acelerará a página, mas não o First Byte. Você acelerará o carregamento de multimídia (imagens, PDFs, vídeos) e JS. Isso melhorará a responsividade do site, mas todo o conteúdo dinâmico precisará ser carregado do servidor central.
Assim, os avatares dos usuários, por exemplo, serão carregados mais rapidamente, mas não os títulos dos tópicos.