Sim, este é exatamente o problema - nós não temos (ainda) nenhuma remoção automática de código não utilizado. Os módulos de administração são separados manualmente para que os usuários regulares não tenham que pagar o custo de carregá-los pela rede.
Essa provavelmente é a melhor aposta. Se bem me lembro, o seletor de cores é bastante autônomo, então deve ser fácil de copiar.