שפר את חישוב ספירת המילים עבור פוסטים ב-CJK, או השתמש בספירת תווים

Bug
1

עמודת word_count של Post ו-Topic מחושבת ישירות באמצעות מספר הרווחים, דבר שאינו מתאים כלל לשפות כמו סינית, יפנית וקוריאנית שאינן משתמשות ברווחים.

זו אינה בעיה גדולה מכיוון ש-word_count משמשת לעתים רחוקות, אך נתקלתי בבעיה ב-AI summary backfill minimum word count. פוסטים סיניים ארוכים מסוננים החוצה, אך פוסטים קצרים המשלבים סינית ואנגלית (עם הרבה רווחים) מסוכמים.

אני חושב שעלינו להשתמש במחלק מילים התומך במספר שפות, או פשוט להשתמש בספירת תווים במשהו כמו AI summary backfill minimum word count.

2 לייקים
2

לדוגמה, אם תבדוק את מספר המילים בפוסט הזה במנהל הנתונים, תגלה שיש רק מילה אחת

3

举个例子如果在数据资源管理器里检查这个帖子的单词数量会发现仅仅只有一个

(translation: for example, if you check the word count of this post in the Data Explorer, you will find that there is only one)

This is clearly wrong and may have been affecting the user’s reading time calculation, since read_time_word_count depends on word count.

4

Hmm, if we are smart about our pipeline we could use cppjieba.

It would require that update_index! would take care of this:

char count is probably the simplest thing though, given that reading the word bla is far faster than reading supercalifragilisticexpialidocious

I wonder if you can make some PR that changes so we lean on char count, then we can divide char count by 4 say for English and 2 for Chinese? (via some setting)

@lindsey this is an interesting topic for you.

לייק 1
5

עבור סינית, ספירת תווים היא השיטה הנפוצה ביותר למדידת אורך טקסט. מבחינת יישום, נוכל להשתמש בביטוי רגולרי כדי לסנן תווים סיניים ואז לספור אותם ישירות. גישה זו יעילה מספיק ומתאימה להרגלי השימוש הסיניים. למרות שקריאתה word_count במקום char_count עשויה להיראות מעט מבלבלת, אולי נוכל להבהיר נקודה זו בתיאור של ההגדרות הרלוונטיות.

לייק 1