Sí, si vas a admin > personalizar > temas, podrás agregar el CSS anterior a tu tema para ocultar la configuración.
admin > personalizar > temas