Да, это именно та проблема — у нас пока нет автоматического tree-shaking. Модули администратора разделяются вручную, чтобы обычные пользователи не платили за их загрузку по сети.
Вероятно, это лучший вариант. Насколько я помню, селектор цветов довольно самодостаточен, поэтому его должно быть легко скопировать. Это также имеет преимущество изоляции вашего плагина от любых изменений в основном компоненте (который на самом деле не считается «публичным API»).