AIスパム検出器に関する不満

[NateDhaliwal]

こんにちは、ご質問にお答えします。

@lilydjwg

ここでトークナイザーは何をしますか？

ドキュメントより:

@Discourse

トークナイザーとは？

• トークナイザーは文字列をトークンに変換します。これはモデルが入力内容を理解するために使用するものです。