Meu conselho é sempre começar de forma simples. Trabalhe primeiro em um requisito básico e descubra como realizá-lo. Em seguida, avance para o próximo.
No que diz respeito à personalização de temas, diria que a maior parte disso envolve modificações no CSS. Utilize os recursos habituais. Quando isso não for suficiente, você precisará considerar a modificação de templates com jQuery ou, em último caso, sobrescrever os templates. Crie seus próprios componentes ou widgets para casos de uso inovadores e integre-os.
O código-fonte é sempre seu aliado: explore a estrutura de diretórios no GitHub do repositório discourse/discourse e você encontrará os diferentes componentes do aplicativo organizados. Acredito que os templates sejam a parte mais fácil de compreender. Se você ainda não está familiarizado com a estrutura de diretórios do Ember, agora é o momento de se familiarizar.