Ich habe tiny_segmenter von Rubygems ausprobiert und es generiert zumindest die Wörter, die ich im vorherigen Kommentar aufgelistet habe.
# coding: utf-8
require 'tiny_segmenter'
require 'pp'
s = File.read('topic27.txt')
ts = TinySegmenter.new
sg = ts.segment(s, ignore_punctuation: true)
pp(sg)
bundle exec ruby test.rb | grep -e 北側 -e 真上 -e 一般
"北側",
"真上",
"一般",
"一般",
"一般",
"北側",
"一般",
Eine schnelle Suche nach TinySegmenter hat mir gesagt, dass das verwendete Modell nicht so gut ist. Es gibt einen Modellgenerator dafür.
Ich habe es aber noch nicht ausprobiert.