Você pode ocultá-lo com algum CSS em um componente de tema, algo como isto deve funcionar:
.passkey-login-button {
display: none;
}
Isso apenas oculta o botão, ainda permite que os usuários criem e façam login com passkeys via preenchimento automático no formulário de login principal (à esquerda da sua captura de tela).