# Como usar modelos de IA com tokenizadores customizados

**URL:** https://meta.discourse.org/t/how-to-use-ai-models-with-custom-tokenizers/391238
**Category:** Support
**Tags:** ai
**Created:** [Dezembro 13, 2025, 10:41pm UTC](https://meta.discourse.org/t/how-to-use-ai-models-with-custom-tokenizers/391238 "2025-12-13T22:41:28Z")
**Posts on this page:** 1
**Showing post:** 4

<div class="post-metadata">

### Author: ![sam](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/sam/32/102149_2.png) [@sam](https://meta.discourse.org/u/sam)
#### Post date: [Março 2, 2026, 4:10am UTC](https://meta.discourse.org/t/how-to-use-ai-models-with-custom-tokenizers/391238/4 "2026-03-02T04:10:15Z")

</div>

Também vale a pena notar… a maioria dos agentes de codificação hoje em dia nem sequer se preocupa com um tokenizador preciso como o Discourse. Eles apenas estimam em 4 letras por token.

O cl100k será mais do que suficiente para a grande maioria dos casos de uso em LLMs com tokenizadores ligeiramente diferentes.

---

_[View the full topic](https://meta.discourse.org/t/how-to-use-ai-models-with-custom-tokenizers/391238)._