بحث عن مصطلح في اليابانية

الدعم
21

شكرًا لك على ردك.

  1. فقرة نموذجية هنا بالكاناكانا
    تقرير اختبار 9، تقرير اختبار 11، تقرير اختبار 8… الخ

  2. مصطلح بحث نموذجي لديك لا يعمل
    テスト
    كلمة “テスト” لا تعمل.

    2テスト
    2テスト1152×347 9.95 KB

    لكن يبدو أن “通報” أو “通報テスト” تعملان بشكل صحيح.
    通報
    通報1206×345 19.3 KB

    1通報テスト
    1通報テスト1151×334 18.8 KB

  3. تأكيد أن موقعك محليته باللغة اليابانية أو أن search tokenize chinese japanese korean مفعّل
    نعم، لقد تأكدت من أن كلا الإعدادين مضبوطان بشكل صحيح.

    setting1
    setting11207×400 17.4 KB

    setting2
    setting21207×400 8.72 KB

24

حدث أمر لا يصدق. بعد تغيير قيمة ‘الحد الأدنى لطول مصطلح البحث’ من القيمة الافتراضية 2 إلى 1، أصبح بإمكاننا الآن البحث عن الكاتاكانا. لا أعرف السبب، لكن هل هذا الإعداد ذو صلة؟

26

يمكنني تكرار هذه المشكلة، وهي تعود في الغالب إلى مزيج من

و

يتم تحويل المصطلح テスト إلى テ ス ト بعد مروره عبر CppjiebaRb، مما يؤدي إلى تفعيل حامي min_search_length الذي لدينا.

@sam، من الصعب إصلاح هذا الأمر لأننا نحتاج إلى أداة تجزئة مناسبة للغة اليابانية لحل مشاكل البحث مثل هذه بشكل نهائي. يمكننا إجراء تعديلات هنا وهناك، لكن سيكون الأمر أشبه بلعبة مطاردة الفئران.

27

لا أعتقد أنه يوجد قاطع فاصل ياباني مناسب يمكننا استخدامه.

أعتقد أن أفضل ما يمكن فعله هنا هو ببساطة تخفيض هذه القيم الافتراضية إلى 1.

وإلا فإننا سنمنع الأشخاص من البحث عن كلمة “منزل” باللغة اليابانية (家)، وهو أمر يبدو معقولاً… فنحن نسمح للأشخاص بالبحث عن كلمة “منزل” باللغة الإنجليزية.

28

لا أستخدم Ruby هذه الأيام ولا أعرف متطلبات Discourse ولكن يبدو أن هناك جوهرة لـ “MeCab”.

وصلت إلى هذا الموضوع لأنني وجدت أن البحث عن بعض الكلمات لا يعمل على نسختي العامة المستضافة. لدي

  • الحد الأدنى لطول مصطلح البحث: 1
  • البحث عن الكلمات الصينية واليابانية والكورية: ممكّن
  • الإعداد الافتراضي للغة: اليابانية

إذا كنت أتذكر جيدًا، فقد قمت بتهيئة الموقع باللغة الإنجليزية ثم غيرت الإعداد إلى اليابانية لاحقًا.

الكلمات التي وجدت أنها فشلت في البحث عنها هي “北側” و “真上” و “一般”. هذه الكلمات موجودة في هذا الموضوع. العديد من الكلمات تعمل ولكن هذه لا تعمل. لا أرى أي نمط سواء كانت الكلمة تعمل أم لا.

هل هناك طريقة للتحقق من فهرس البحث الذي تم إنشاؤه على النسخة المستضافة؟ يمكنني قراءة كل من Ruby واليابانية لذلك إذا كانت هناك طريقة لمعرفة كيفية إنشاء Discourse لفهرس البحث لـ CJK، فقد أكون بعض المساعدة.

يبدو أن CppjiebaRb أو cppjieba، الذي ذكره @tgxworld، مخصص للصينية. هل يتم استخدامه للغة اليابانية؟

29

Mecab ليس خيارًا للأسف، فهو GPL ونحن نفضل فقط اعتماد تراخيص MIT و BSD في التبعيات

لدينا طلب سحب (PR) سيضيف TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア والذي لديه ترخيص متوافق. هل يمكنك تجربة التجزئة وإخبارنا بمدى نجاحها، يوجد نموذج على الموقع يمكنك استخدامه للاختبار

30

لقد جربت tiny_segmenter من Rubygems وعلى الأقل فإنه يولد الكلمات التي أدرجتها في التعليق السابق.

# coding: utf-8
require 'tiny_segmenter'
require 'pp'

s = File.read('topic27.txt')

ts = TinySegmenter.new
sg = ts.segment(s, ignore_punctuation: true)
pp(sg)

bundle exec ruby test.rb | grep -e 北側 -e 真上 -e 一般
 "北側",
 "真上",
 "一般",
 "一般",
 "一般",
 "北側",
 "一般",

أخبرني بحث سريع حول TinySegmenter أن النموذج الذي يستخدمه ليس جيدًا. يوجد مولد نماذج له.

لم أجربه بعد.