Não. Você não pode remover o pub sem um plugin. E mesmo assim, você provavelmente precisaria substituí-lo por algo diferente.
Você poderia usar um link permanente para fazer com que /arbitrary-url redirecione (301) para /pub/whatever, mas o pub ainda apareceria no navegador do usuário.