Post와 Topic의 word_count 컬럼은 공백의 수를 직접 사용하여 계산되는 것 같으며, 이는 공백을 사용하지 않는 중국어, 일본어, 한국어와 같은 언어에는 전혀 적합하지 않습니다.
word_count는 거의 사용되지 않기 때문에 큰 문제는 아니지만, AI summary backfill minimum word count에서 문제를 겪었습니다. 긴 중국어 게시물은 필터링되지만, 중국어와 영어가 혼합되어 공백이 많은 짧은 게시물은 요약됩니다.
여러 언어를 지원하는 워드 세그멘터(word segmenter)를 사용하거나, AI summary backfill minimum word count와 같은 경우 단순히 문자 수(char count)를 사용하는 것이 좋다고 생각합니다.
예를 들어 데이터 리소스 매니저에서 이 게시글의 단어 수를 확인하면 단 하나뿐임을 알 수 있습니다.
예를 들어 데이터 탐색기(Data Explorer)에서 이 게시물의 단어 수를 확인하면 단어가 하나뿐임을 알 수 있습니다
(번역: 예를 들어 데이터 탐색기에서 이 게시물의 단어 수를 확인하면 단어가 하나뿐임을 알 수 있습니다)
이것은 명백히 잘못된 것이며, read_time_word_count가 단어 수에 의존하기 때문에 사용자의 읽기 시간 계산에 영향을 미쳤을 수 있습니다.
음, 파이프라인을 현명하게 구성하면 cppjieba를 사용할 수 있을 것 같습니다.
이 경우 update_index!에서 다음 사항을 처리해야 합니다:
단어 bla를 읽는 것이 supercalifragilisticexpialidocious를 읽는 것보다 훨씬 빠르기 때문에, 문자 수를 사용하는 것이 아마도 가장 단순한 방법일 것입니다.
영어의 경우 문자 수를 4로 나누고, 중국어의 경우 2로 나누도록 설정을 통해 변경하는 PR을 만들어 볼 수 있을까요?
@lindsey 이 주제는 당신에게 흥미로운 주제일 것 같습니다.
중국어의 경우, 텍스트 길이를 측정하는 가장 일반적인 방법은 문자 수를 세는 것입니다. 구현 측면에서는 정규 표현식을 사용하여 중국어 문자를 필터링한 후 직접 개수를 세면 됩니다. 이 방법은 충분히 효율적이며 중국어의 사용 습관에도 부합합니다. char_count 대신 word_count라고 명명하는 것이 다소 혼란스럽게 느껴질 수 있지만, 관련 설정의 설명에서 이 점을 명확히 할 수 있을 것입니다.