Sim, a intenção original era tornar as opções do painel de administração uma maneira simplificada de definir cores, basicamente um “modo fácil”. Concordo que é limitante e o contraste não é ótimo para algumas combinações de cores.
A boa notícia é que temas remotos podem substituir todas as cores geradas automaticamente, veja Override values for auto-generated color variables
Também temos analisado mais de perto como nossas cores funcionam ultimamente, com a esperança de facilitar o trabalho com esquemas de cores e modos claro/escuro tanto para administradores quanto para usuários, então esperamos poder fazer alguns refinamentos úteis.