カスタムトークナイザーでAIモデルを使用する方法

[sam (Sam Saffron)]

特筆すべきは、最近のコーディングエージェントの大多数は、Discourseが行っているような正確なトークナイザーを気にせず、トークンあたり4文字と推定するだけだということです。

cl100kは、トークナイザーがわずかに異なるLLMのほとんどのユースケースで十分に対応できます。