Sí, la intención original era hacer que las opciones del panel de administración fueran una forma simplificada de establecer colores, básicamente un “modo fácil”. Estoy de acuerdo en que es limitante y el contraste no es bueno para algunas combinaciones de colores.
La buena noticia es que los temas remotos pueden anular todos los colores generados automáticamente, consulta Override values for auto-generated color variables
También hemos estado analizando más de cerca cómo funcionan nuestros colores últimamente, con la esperanza de facilitar el trabajo con esquemas de colores y modos claro/oscuro tanto para administradores como para usuarios, así que esperamos poder hacer algunas mejoras útiles.