Prefers-color-scheme учитывает только режим ОС.
Чтобы селектор цветов интерфейса корректно работал для цветов, не связанных с цветовой схемой, и других значений CSS, всегда используйте dark-light-choose, как объясняется здесь: Update themes and plugins to support automatic dark mode - #5 by pmusaraj