Нормализация поиска на арабском: отсутствует поддержка вариантов хамзы, форм я/каф и орфографической эквивалентности

Говоря об этой части проблемы, мы имеем в виду нормализацию по стандарту Unicode NFKC (выбирая один из вариантов)?

(Я даже не уверен, что именно мы делаем… Предполагаю, что мы нормализуем текст постов в конвейере обработки данных?)

1 лайк