Puedes ocultarlo con algo de CSS en un componente de tema, algo como esto debería funcionar:
.passkey-login-button {
display: none;
}
Eso solo oculta el botón, todavía permite a los usuarios crear e iniciar sesión con passkeys a través de autocompletado en el formulario de inicio de sesión principal (a la izquierda de tu captura de pantalla).