감시 단어 목록의 러시아 문자가 제대로 인식되지 않음

회사의 감시 단어 목록을 확장하던 중 이상한 문제를 발견했습니다. 모든 지원 언어에서 감시 단어 목록을 사용하길 원하는데, 러시아어에서 문제가 없는 특정 단어가 잘못 플래그 처리되고 있습니다. 단어의 모든 문자가 제대로 감지되지 않는 것 같습니다.

예시 1: 영문 문자로 된 일반 감시 단어는 정상적으로 작동합니다

예시 2: 이 단어 앞에 문자를 하나 추가하면 더 이상 플래그가 뜨지 않습니다(의도한 대로 작동).

예시 3: 그러나 특정 러시아어 문자의 경우, 글자가 영문 문자와 똑같이 보이지만 다른 유니코드를 사용하여 표시되지 않는 것 같습니다.

'абля’는 목록에 없는데도 잘못 플래그 처리되고 있습니다. 영문 키보드에서 'a’를 삭제하고 다시 입력하면 더 이상 플래그가 뜨지 않습니다(아마도 문자의 코딩 방식이 다르기 때문일 것입니다). 이로 인해 문제가 없는 단어들이 잘못 플래그 처리되고 있으며, 이는 바람직하지 않습니다.

또 다른 예로, 감시 단어 목록에 'еб’만 있는데도 'себ’이 동일한 방식으로 잘못 플래그 처리되는 경우가 있습니다.

이 문제에 대한 우회 방법이나 해결책이 있다면 알려주시면 감사하겠습니다! 감사합니다 :slight_smile:

1개의 좋아요

안녕하세요 @CCP_Aurora, 확인해 보겠습니다. 유니코드에서 정규식을 제대로 동작시키고 경계를 올바르게 처리하는 건 꽤나 험난한 과정이었거든요. 분명 버그인 것 같습니다.

@gerhard도 비슷한 문제를 이전에 다뤄본 적이 있어서 몇 가지 아이디어를 제시할 수 있을지도 모릅니다.

4개의 좋아요