Olá @danielabc
Você só precisa navegar até seus componentes em /admin/customize/themes, encontrar o componente Icon Header Links. Se ele não estiver na última atualização, você verá um botão para atualizar.
Após atualizar o componente de tema, nas configurações do seu tema, onde você configura cada link de ícone, basta usar um URL para uma fonte de imagem em vez de um nome de ícone do font awesome.
Por exemplo, é assim que configurei um link:
Link para desktop e mobile, https://upload.wikimedia.org/wikipedia/commons/thumb/5/53/Pok%C3%A9_Ball_icon.svg/1200px-Pok%C3%A9_Ball_icon.svg.png, https://facebook.com, vdm, self
O que renderiza assim:
