Merci, mais je sais ce qu’est un jetoniseur (tokenizer). Ce que je ne sais pas, c’est ce que Discourse en fait, et ce qui se passerait si je choisissais le mauvais jetoniseur ? Je n’ai pas besoin de jetoniseur pour appeler un LLM de toute façon.
Merci, mais je sais ce qu’est un jetoniseur (tokenizer). Ce que je ne sais pas, c’est ce que Discourse en fait, et ce qui se passerait si je choisissais le mauvais jetoniseur ? Je n’ai pas besoin de jetoniseur pour appeler un LLM de toute façon.