Veja How to override a template.hbs from a plugin - #4 by tshenry. Acredito que seja exatamente o que você está procurando.
Não é onde eu disse, mas você o coloca na árvore de assets com o nome correto. É impossível entender até que você compreenda, e aí fica totalmente óbvio.
Edição: Ei @JQ331. Acabei de perceber que acho que fiz o que você queria em um plugin ontem, mas sou tão ruim nisso que não percebi que era isso que você estava procurando. Veja GitHub - literatecomputing/discourse-max-topics-per-month · GitHub. É muito simples, então não há muito o que atrapalhar na hora de encontrar o exemplo.