Desactivar la configuración eliminará la dependencia del servicio central, pero requerirá una nueva generación completa de todas las publicaciones para actualizar todas las URL de avatares en caché.
Tienes toda la razón en que una interrupción en el servicio de avatares de letras no debería afectar al resto del sitio. Como señaló @RGJ, esto parece estar relacionado con la capacidad de NGINX cuando las solicitudes proxy se bloquean durante mucho tiempo; sin duda, investigaremos si se pueden realizar mejoras allí.