Um repositório privado do GitHub/GitLab continua privado. O token é apenas uma senha que permite ao servidor cloná-lo. Ninguém mais pode ver o código. Ele permanece privado.
Veja a seção sobre repositórios privados em Install plugins on a self-hosted site