Isso mesmo. E, a menos que você tenha seu sistema de arquivos criptografado — o que é difícil de fazer —, então você também precisa confiar neles. Eles têm acesso físico aos servidores e à rede.
Como explicado, você só precisa ter a senha para usá-la.