Isso não está correto; você pode fazer login pelo nome de usuário.
A autenticação de dois fatores (2FA) impedirá qualquer pessoa que roube sua senha de reutilizá-la, desde que não tenha instalado malware no seu computador.
Mesmo no pior dos casos, você ainda terá acesso SSH ao servidor e poderá restaurar seu acesso a partir dali.