中国語の検索抜粋が壊れているようです

tgxworld · 2020 年 12 月 8 日午前 1:22

ストップワードは GitHub - yanyiwu/cppjieba: "结巴"中文分词的C++版本 · GitHub を使用して決定されます。検索抜粋の表示方法に関する最近の変更により、実際の検索データに混乱を招く次の行を削除すべきです。

github.com/discourse/discourse

lib/search.rb

1cf057fb1


      
          # For Japanese we should investigate using kakasi
          if ['zh_TW', 'zh_CN', 'ja'].include?(SiteSetting.default_locale) || SiteSetting.search_tokenize_chinese_japanese_korean
            require 'cppjieba_rb' unless defined? CppjiebaRb
            mode = (purpose == :query ? :query : :mix)
            data = CppjiebaRb.segment(search_data, mode: mode)
          
            # TODO: we still want to tokenize here but the current stopword list is too wide
            # in cppjieba leading to words such as volume to be skipped. PG already has an English
            # stopword list so use that vs relying on cppjieba
            if ts_config != 'english'
              data = CppjiebaRb.filter_stop_word(data)
            else
              data = data.filter { |s| s.present? }
            end
          
            data = data.join(' ')
          
          else
            data.squish!
          end

いずれにせよ、中国語の検索サポートは十分ではありませんが、ネイティブサポートを持たない言語を適切にサポートできるよう、検討すべき PG 拡張機能があるかもしれません。https://pgroonga.github.io/ はどうでしょうか？

トピック		返信	表示
Chinese searching is broken Bug	3	1099	2016 年 10 月 12 日
Searching Chinese terms in middle of sentence Feature	23	3846	2016 年 10 月 8 日
Chinese search doesn't work to some words Product Support	14	1883	2018 年 12 月 14 日
What's the word tokenizer for different languages in discourse? Product Support	1	673	2020 年 5 月 27 日
Korean words can't be searched Product Support	34	2026	2018 年 5 月 27 日

中国語の検索抜粋が壊れているようです

関連トピック