Para aclarar, ¿el problema que describes solo ocurre con los rastreadores y las solicitudes de API?
De la documentación de Google:
Además, el rastreador envía solicitudes HTTP sin establecer
Accept-Languageen el encabezado de la solicitud.
Dado que Google no establece el encabezado Accept-Language, ese enfoque no funcionará para resolver el problema con Google.
El atributo lang de la etiqueta html siempre se establece en la configuración regional predeterminada del sitio. Esto también ocurre cuando un usuario selecciona una configuración regional distinta a la predeterminada del sitio desde su página de preferencias.