Grazie, ma so cos’è un tokenizzatore. Quello che non so è per cosa lo usa Discourse e cosa succederebbe se scegliessi il tokenizzatore sbagliato? Non ho bisogno di un tokenizzatore per chiamare un LLM comunque.
Grazie, ma so cos’è un tokenizzatore. Quello che non so è per cosa lo usa Discourse e cosa succederebbe se scegliessi il tokenizzatore sbagliato? Non ho bisogno di un tokenizzatore per chiamare un LLM comunque.