Depende do plugin. Alguns adicionam coisas, outros não.
Alguns adicionam campos personalizados. Alguns adicionam tabelas. Na maioria das vezes, eles não prejudicam nada e você tem mais chances de quebrar algo ao tentar removê-los do que eles causarem problemas.