Ein privates GitHub-/GitLab-Repository bleibt privat. Der Token ist lediglich ein Passwort, mit dem der Server es klonen kann. Niemand sonst kann den Code einsehen. Er bleibt privat.
Siehe den Abschnitt über private Repositories unter Install plugins on a self-hosted site