Hola @danielabc
Simplemente necesitas navegar a tus componentes en /admin/customize/themes, encontrar el componente Icon Header Links. Si no está en la última actualización, deberías ver un botón para actualizar.
Después de actualizar el componente del tema, en la configuración de tu tema, donde configuras cada enlace de icono, simplemente usa una URL a una fuente de imagen en lugar de un nombre de icono de Font Awesome.
Por ejemplo, así es como tengo configurado un enlace:
Enlace de escritorio y móvil, https://upload.wikimedia.org/wikipedia/commons/thumb/5/53/Pok%C3%A9_Ball_icon.svg/1200px-Pok%C3%A9_Ball_icon.svg.png, https://facebook.com, vdm, self
Lo que se renderiza así:
