O que você está tentando fazer atualmente exigirá alguma “gambiarra” - não há uma maneira direta de fazer isso.
Acho que há uma solicitação de recurso legítima aqui - para permitir que as tags sejam configuradas com um emoji e também para permitir determinar se o texto da tag e o emoji da tag são exibidos, ou apenas o emoji da tag.
Existe um componente de tema para permitir que as tags recebam ícones, mas atualmente não há como suprimir o texto da tag. Talvez isso possa ser adicionado ao componente como uma opção?