Se esegui l’hosting di quel modello da solo, può richiedere fino a 32k token.
Se ciò non è possibile, è necessario configurare il modello di embedding per limitare gli input al massimo consentito dal tuo provider. In questo modo il nostro AI Bot RAG dividerà i file caricati in blocchi e Related Topic / Search prenderà solo i primi 8192 token in ogni argomento.