Hallo, ich habe Discourse auf Chinesisch verwendet und festgestellt, dass viele Wörter nicht gut tokenisiert werden.
In einem Satz gibt es viele Wörter, die wir gut trennen müssen, um die Stichwortsuche und andere wichtige Funktionen zu unterstützen.
Ich muss jedoch sagen, dass ich der Meinung bin, dass der chinesische Tokenizer von Discourse nicht gut genug funktioniert.
Ist das ein „alter