Il metodo “supportato” consiste nel disabilitare i plugin tramite l’interfaccia di amministrazione.
Sei libero di eliminarli dal filesystem e “probabilmente” funzionerà (come dici, idealmente i plugin dovrebbero essere modulari). Tuttavia, al momento non è qualcosa che testiamo rigorosamente, quindi non posso darti una garanzia al 100%.