Só para adicionar mais uma voz em vez de respostas… 
Eu tenho um pequeno site de teste DO de 1GB com muitos plugins, então normalmente não é o mais rápido. No entanto, acho que tem levado muito mais tempo recentemente também, e o meu ficou preso em uma estranheza outro dia como o @MarcP e eu tive que redefini-lo.
Eu nunca cronometrei antes, mas hoje eu o configurei para ‘Atualizar Tudo’ e anotei quando cliquei no botão. Até agora temos um início às 9h30 e ainda está em andamento às 10h15. Atualmente está empacotando alguns assets. Posso dizer com alguma confiança que normalmente não leva mais de 45 minutos e contando para fazer sua coisa.
Embora pareça que teve alguns problemas de permissão limpando arquivos temporários? Não tenho certeza se isso é relevante.