Come usare i modelli AI con tokenizer personalizzati

TL;DR scegli il tokenizer più vicino e imposta il contesto massimo a qualche migliaio in meno per evitare che la differenza ti influenzi.