Un repositorio privado de GitHub/GitLab sigue siendo privado. El token es simplemente una contraseña que permite al servidor clonarlo. Nadie más puede ver el código. Permanece privado.
Consulta la sección sobre repositorios privados en Install plugins on a self-hosted site