J’ai vérifié le code source. Si je ne me suis pas trompé, le tokenizer est utilisé pour deux choses : compter les tokens pour les statistiques et l’estimation des prix, et tronquer les publications à la limite définie. Donc, cela ne devrait pas beaucoup m’affecter si un mauvais est utilisé.
lilydjwg
9
Sujets connexes
| Sujet | Réponses | Vues | Activité | |
|---|---|---|---|---|
| Discourse AI - Large Language Model (LLM) settings page | 20 | 3227 | Novembre 26, 2025 | |
| AI powered Spam detection | 11 | 1047 | Janvier 11, 2025 | |
| Discourse AI - Spam detection | 32 | 3752 | Mars 10, 2026 | |
| Introducing Discourse AI | 26 | 3848 | Mai 4, 2023 | |
| What's the cheapest/best AI to use for AI Spam? | 6 | 302 | Mars 18, 2025 |