Si deseas que se use “en”, tendría sentido que la configuración de idioma predeterminado del sitio sea “en”.
Si desactivas la configuración, no habrá un idioma de respaldo y el usuario verá simplemente el idioma original (a menos que esté traducido a un idioma compatible, según la descripción).
Un visitante finlandés que haya establecido su idioma del navegador en “fi” (prioridad más alta) verá “fi” (si no es así, es un error; házmelo saber). Creo que puedes proceder a establecer tu idioma predeterminado en “en”.