중국어 검색 발췌문이 깨져 보입니다

tgxworld · 12월 8, 2020, 1:22오전

정지어는 GitHub - yanyiwu/cppjieba: "结巴"中文分词的C++版本 · GitHub 을 사용하여 결정됩니다. 검색 발췌문 표시 방식이 최근 변경되었으므로, 실제 검색 데이터에 영향을 주기 때문에 다음 줄을 제거하는 것이 좋습니다.

github.com/discourse/discourse

lib/search.rb

1cf057fb1


      
          # For Japanese we should investigate using kakasi
          if ['zh_TW', 'zh_CN', 'ja'].include?(SiteSetting.default_locale) || SiteSetting.search_tokenize_chinese_japanese_korean
            require 'cppjieba_rb' unless defined? CppjiebaRb
            mode = (purpose == :query ? :query : :mix)
            data = CppjiebaRb.segment(search_data, mode: mode)
          
            # TODO: we still want to tokenize here but the current stopword list is too wide
            # in cppjieba leading to words such as volume to be skipped. PG already has an English
            # stopword list so use that vs relying on cppjieba
            if ts_config != 'english'
              data = CppjiebaRb.filter_stop_word(data)
            else
              data = data.filter { |s| s.present? }
            end
          
            data = data.join(' ')
          
          else
            data.squish!
          end

어쨌든 우리의 중국어 검색 지원은 훌륭하지 않지만, 네이티브 지원이 없는 언어를 적절하게 지원할 수 있도록 고려해 볼 수 있는 PG 확장 기능이 있습니다. 예를 들어 https://pgroonga.github.io/ ?

글		댓글	조회수
Chinese searching is broken Bug	3	1099	10월 12, 2016
Searching Chinese terms in middle of sentence Feature	23	3846	10월 8, 2016
Chinese search doesn't work to some words Product Support	14	1883	12월 14, 2018
What's the word tokenizer for different languages in discourse? Product Support	1	674	5월 27, 2020
Korean words can't be searched Product Support	34	2027	5월 27, 2018

중국어 검색 발췌문이 깨져 보입니다

Related topics