# 关于AI垃圾邮件检测器的挫败感

**URL:** https://meta.discourse.org/t/frustrations-on-ai-spam-detector/388947
**Category:** Support
**Tags:** ai, spam
**Created:** [2025年十一月19日 03:20 UTC](https://meta.discourse.org/t/frustrations-on-ai-spam-detector/388947 "2025-11-19T03:20:02Z")
**Posts on this page:** 1
**Showing post:** 2

<div class="post-metadata">

### Author: ![NateDhaliwal](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/natedhaliwal/32/313494_2.png) [@NateDhaliwal](https://meta.discourse.org/u/NateDhaliwal)
#### Post date: [2025年十一月19日 03:59 UTC](https://meta.discourse.org/t/frustrations-on-ai-spam-detector/388947/2 "2025-11-19T03:59:21Z")

</div>

您好，为了回答您的问题：

> [@lilydjwg](#):
>
> 这里的分词器（tokenizer）是做什么的？

根据文档：

> [@Discourse](#):
>
> **什么是分词器？**
> 
> - 分词器将字符串转换为模型用来理解输入的“标记”（tokens）。

---

_[View the full topic](https://meta.discourse.org/t/frustrations-on-ai-spam-detector/388947)._