Ah, dat is duidelijk, bedankt!
Dus in feite moeten mijn volgende stappen zijn om een paar tests uit te voeren met verschillende embeddingsmodellen en te zien welke token-grootte ik uiteindelijk in de systeemprompt injecteer, toch?
En bij het maken van die txt-bestanden met chunks, moet ik ervoor zorgen dat ze binnen een redelijke limiet van ongeveer 10k blijven?