This is how stuff is being split in the tokenizer, does it look correct?
source: 我非常喜歡台灣
split: 我 | 非常 | 喜 | 歡 | 台 | 灣 |
source: 我們的總統目前不敢說台灣是個獨立的國家
split: 我 | 們 | 的 | 總 | 統 | 目前 | 不敢 | 說 | 台 | 灣 | 是 | 個 | 獨 | 立 | 的 | 國 | 家 |
source: 台灣主要的城市包括台北、台中、台南、高雄、台東和花蓮
split: 台 | 灣 | 主要 | 的 | 城市 | 包括 | 台北 | 、 | 台中 | 、 | 台南 | 、 | 高雄 | 、 | 台 | 東 | 和 | 花 | 蓮 |
source: 在我認識的人中，大部分不知道台灣在哪裡或以為是泰國
split: 在 | 我 | 認 | 識 | 的 | 人中 | ， | 大部分 | 不知道 | 台 | 灣 | 在哪 | 裡 | 或以 | 為 | 是 | 泰 | 國 |