groq의 moonshotai/kimi-k2-instruct 모델을 사용하려고 합니다. moonshotai/Kimi-K2-Instruct · Hugging Face 문서에 따르면 이 모델은 OpenAI나 Gemini 토크나이저와 호환되지 않으며, 자체적인 커스텀 토크나이저를 사용하는 것으로 보입니다.
이 모델을 위해 discourse에서 커스텀 토크나이저를 구성할 수 있는 방법이 있는지, 가능하다면 어떻게 해야 하는지 궁금합니다. LLM 모델 설정에서 커스텀 토크나이저를 사용할 수 있는 옵션을 찾을 수 없었습니다.
이 모델은 GPT-5보다 훨씬 뛰어나다고 해서, discourse BOT과 함께 사용했을 때 얼마나 효과적인지 확인해 보고 싶습니다. (추론 능력에서 GPT-5를 능가하며, 다국어 MMLU: 89%, HLE 다국어: 85%)
TL;DR 가장 가까운 토크나이저를 선택하고, 최대 컨텍스트를 수천 토큰 정도 줄여서 그 차이가 영향을 주지 않도록 하세요.
감사합니다. 그래서 저는 ChatGPT, Gemini, Grok을 활용하여 어떤 토크나이저를 사용해야 할지 결정하는 데 도움을 받으기로 했습니다. Kimi Instruct의 TikToken/BPE 토크나이저와 가장 유사한 것을 찾아 모델에서 가장 정확한 출력을 생성하는 것이 목표였죠.
솔직히 말하면, 최신 AI 모델들은 인간 사회를 꽤 잘 반영하고 있습니다. 각각 가장 적합한 토크나이저를 논리적으로 추론해 내었고, 결과를 제시했으며, 일부 사실에 대해서는 의견이 달랐고, 어떤 것이 최적인지에 대해 각자 고유한 생각을 가지고 있었습니다. 같은 방향으로 나아가는 경향은 있었지만, 진정한 합의에는 이르지 못했죠. 마치 인간 프로젝트 팀과 아주 흡사합니다. 정말 웃기네요!!! 
참고로, Gemini는 Qwen을 추천했고(중국 출신 창립자들 간의 관계 때문), Grok은 Llama3를 추천했습니다(cl100k_base와의 유사성과 전반적인 효율성 때문). 반면 ChatGPT는 Qwen 또는 Llama3 중 하나를 선택하라고 했어요 - 
또한 주목할 점은 … 요즘 대부분의 코딩 에이전트는 Discourse처럼 정확한 토크나이저를 사용하는 것조차 귀찮아합니다. 그들은 단순히 토큰당 4글자로 추정합니다.
cl100k는 토크나이저가 약간 다른 LLM의 대부분의 사용 사례에 충분히 적합할 것입니다.