Search a term in Japanese

He probado tiny_segmenter de Rubygems y al menos genera las palabras que he listado en el comentario anterior.

# coding: utf-8
require 'tiny_segmenter'
require 'pp'

s = File.read('topic27.txt')

ts = TinySegmenter.new
sg = ts.segment(s, ignore_punctuation: true)
pp(sg)
bundle exec ruby test.rb | grep -e 北側 -e 真上 -e 一般
 "北側",
 "真上",
 "一般",
 "一般",
 "一般",
 "北側",
 "一般",

Una búsqueda rápida sobre TinySegmenter me dijo que el modelo que utiliza no es tan bueno. Hay un generador de modelos para ello.

Aunque no lo he probado.

3 Me gusta