Isso parece ser um rebaixamento de segurança significativo. MD5 é inadequado para hashing de senhas. Essa mudança não só afetaria uma parte crítica do Discourse, mas você também precisaria mantê-la para todas as futuras versões.
Talvez possamos sugerir uma abordagem melhor se você puder explicar o que está tentando alcançar.
Em relação à personalização do Discourse, por favor, dê uma olhada em Developing Discourse Plugins - Part 1 - Create a basic plugin. O sistema de plugins permite estender recursos principais com segurança.