关于AI垃圾邮件检测器的挫败感

,

谢谢,但我知道什么是分词器(tokenizer)。我不知道的是 Discourse 用它来做什么,以及如果我选错了分词器会发生什么?无论如何,我调用大型语言模型(LLM)都不需要分词器。