사용자 지정 토크나이저와 AI 모델 사용하기

지원
4

또한 주목할 점은 … 요즘 대부분의 코딩 에이전트는 Discourse처럼 정확한 토크나이저를 사용하는 것조차 귀찮아합니다. 그들은 단순히 토큰당 4글자로 추정합니다.

cl100k는 토크나이저가 약간 다른 LLM의 대부분의 사용 사례에 충분히 적합할 것입니다.