안녕하세요, 저는 디스코스를 중국어로 사용 중입니다. 그런데 많은 단어들이 제대로 분사되지 않는다는 점을 발견했습니다.
문장에는 많은 단어가 포함되어 있으며, 키워드 검색과 기타 중요한 기능을 지원하려면 이 단어들을 잘 분리해야 합니다.
그러나 디스코스의 중국어 워드 토크나이저가 충분히 잘 작동하지 않는다고 생각합니다.
이것이 오래된 토크나이저인가요? 새로운 토크나이저로 교체할 수 있을까요?
중국어 단어를 읽을 수 있으시다면, 제가 발견한 내용은 다음과 같습니다: