Для ясности: проблема, которую вы описываете, возникает только у поисковых роботов и при запросах через API?
Согласно документации Google:
Кроме того, поисковый робот отправляет HTTP-запросы без установки заголовка
Accept-Language.
Поскольку Google не устанавливает заголовок Accept-Language, этот подход не поможет решить проблему с Google.
Атрибут lang тега html всегда устанавливается в значение локали сайта по умолчанию. Это также происходит, когда пользователь выбирает локаль, отличную от локали сайта по умолчанию, на странице своих предпочтений.