Fiz isso no passado seguindo os passos descritos por @Stephen, mais um extra: desativar o login por endereço de e-mail e senha. (Não me lembro do nome exato da configuração de cabeça).
Também alteramos uma configuração para ajudar a desativar contas mais rapidamente quando alguém deixa a organização (não é perfeito, mas chega perto):