No. No puedes eliminar pub sin un plugin. Y aun así, principalmente necesitarías reemplazarlo con algo más.
Podrías usar un enlace permanente para que /arbitrary-url redirija con código 301 a /pub/whatever, pero aún así aparecería pub en el navegador de los usuarios.