Virar a configuração removerá a dependência do serviço central, mas exigirá um novo processamento completo de todas as postagens para atualizar todas as URLs de avatar em cache.
Você está absolutamente certo de que uma interrupção no serviço de avatar de letras não deve afetar o resto do site. Como o @RGJ observou, isso parece estar relacionado à capacidade do NGINX quando as solicitações em proxy bloqueiam por um longo tempo - certamente investigaremos se alguma melhoria pode ser feita lá.