Frustrations concernant le détecteur de spam IA

[NateDhaliwal]

Bonjour, pour répondre à votre question :

@lilydjwg

Que fait le tokenizer ici ?

D’après la documentation :

@Discourse

Qu’est-ce qu’un tokenizer ?

• Le tokenizer traduit les chaînes de caractères en jetons (tokens), ce que le modèle utilise pour comprendre l’entrée.