Hice esto en el pasado siguiendo los pasos descritos por @Stephen, más uno adicional: desactivar el inicio de sesión con dirección de correo electrónico y contraseña. (No recuerdo el nombre exacto de la configuración de memoria).
También modificamos una configuración para ayudar a desactivar cuentas más rápidamente cuando alguien deja la organización (no es perfecto, pero se acerca bastante):