Obrigado, mas eu sei o que é um tokenizador. O que eu não sei é para que o Discourse o utiliza e o que aconteceria se eu escolhesse o tokenizador errado? Eu não preciso de um tokenizador para chamar um LLM de qualquer maneira.
Obrigado, mas eu sei o que é um tokenizador. O que eu não sei é para que o Discourse o utiliza e o que aconteceria se eu escolhesse o tokenizador errado? Eu não preciso de um tokenizador para chamar um LLM de qualquer maneira.