关于AI垃圾邮件检测器的挫败感

[NateDhaliwal]

您好，为了回答您的问题：

@lilydjwg

这里的分词器（tokenizer）是做什么的？

根据文档：

@Discourse

什么是分词器？

• 分词器将字符串转换为模型用来理解输入的“标记”（tokens）。