AI 스팸 탐지기에 대한 불만

[lilydjwg]

소스 코드를 확인해 보았습니다. 제가 실수하지 않았다면, 토크나이저는 두 가지 용도로 사용됩니다. 통계와 가격 추정을 위해 토큰을 세는 것과, 게시물을 설정된 한도까지 잘라내는 것입니다. 따라서 잘못된 토크나이저가 사용되더라도 저에게는 큰 영향을 주지 않을 것입니다.