La forma «soportada» es desactivar los complementos a través de la interfaz de administración.
Eres libre de eliminarlos del sistema de archivos, y «probablemente» funcionará (como dices, idealmente los complementos deberían ser modulares). Pero no es algo que probemos rigurosamente en este momento, así que no puedo garantizarlo al 100 %.