Acho que se alcançarmos abaixo de 50 ms em todos os casos, independentemente dos horários de pico de tráfego, eu chamaria isso de tempo de resposta rápido do servidor. O resto do site será mais rápido, pois tudo depende do tempo de resposta inicial do servidor.
E será super ideal se permanecer abaixo de 50 ms para todos os usuários geográficos e se mantiver consistente. No momento, ele fica pulando e é principalmente mais alto, e esse parece ser o grande problema para ser lento.