Das habe ich in der Vergangenheit mit den von @Stephen beschriebenen Schritten plus einem zusätzlichen Schritt umgesetzt: Anmelden per E-Mail-Adresse und Passwort deaktivieren. (Den genauen Namen der Einstellung kann ich mir im Moment nicht mehr genau merken).
Außerdem haben wir eine Einstellung geändert, um Konten schneller zu deaktivieren, wenn jemand das Unternehmen verlässt (nicht perfekt, aber es kommt der Realität sehr nahe):