中文搜索摘要似乎已损坏

tgxworld · 2020 年12 月 8 日 01:22

停用词是通过 GitHub - yanyiwu/cppjieba: "结巴"中文分词的C++版本 · GitHub 确定的。鉴于最近对搜索摘要显示方式的更改，我们应该直接删除以下行，因为它干扰了实际的搜索数据。

lib/search.rb

1cf057fb1


      
          # For Japanese we should investigate using kakasi
          if ['zh_TW', 'zh_CN', 'ja'].include?(SiteSetting.default_locale) || SiteSetting.search_tokenize_chinese_japanese_korean
            require 'cppjieba_rb' unless defined? CppjiebaRb
            mode = (purpose == :query ? :query : :mix)
            data = CppjiebaRb.segment(search_data, mode: mode)
          
            # TODO: we still want to tokenize here but the current stopword list is too wide
            # in cppjieba leading to words such as volume to be skipped. PG already has an English
            # stopword list so use that vs relying on cppjieba
            if ts_config != 'english'
              data = CppjiebaRb.filter_stop_word(data)
            else
              data = data.filter { |s| s.present? }
            end
          
            data = data.join(' ')
          
          else
            data.squish!
          end

无论如何，我们目前对中文的搜索支持并不理想，但我们可以考虑使用 PostgreSQL 扩展，以便更好地支持那些没有原生支持的语言。例如 https://pgroonga.github.io/?

话题		回复	浏览量
Chinese searching is broken Bug	3	1101	2016 年10 月 12 日
Searching Chinese terms in middle of sentence Feature	23	3847	2016 年10 月 8 日
Chinese search doesn't work to some words Product Support	14	1883	2018 年12 月 14 日
What's the word tokenizer for different languages in discourse? Product Support	1	676	2020 年5 月 27 日
Korean words can't be searched Product Support	34	2031	2018 年5 月 27 日

中文搜索摘要似乎已损坏

相关话题