A maneira ‘suportada’ é desativar os plugins pela interface de administração.
Você está livre para excluí-los no sistema de arquivos, e isso ‘provavelmente’ funcionará (como você diz, idealmente os plugins devem ser modulares). Mas não é algo que testamos rigorosamente no momento, então não posso garantir 100% que funcione.