Frustrazioni con il rilevatore di spam AI

[NateDhaliwal]

Ciao, per rispondere alla tua domanda:

@lilydjwg

Cosa fa il tokenizer qui?

Dalla documentazione:

@Discourse

Cos’è un tokenizer?

• Il tokenizer traduce le stringhe in token, che è ciò che un modello utilizza per comprendere l’input.