カスタムトークナイザーでAIモデルを使用する方法

[Falco]

TL;DR: 最も近いトークナイザーを選択し、最大コンテキストを数千ほど少なく設定して、その差が影響しないようにします。