Probabilmente questa è una domanda da principiante, ma mi chiedo se la quantità di informazioni nella configurazione della persona possa avere un impatto sui costi di utilizzo degli LLM come Claude o OpenAI?
Voglio dire, se carico molti file di testo e PDF, ciò aumenterà significativamente il numero di token nelle richieste, rendendo ogni richiesta che utilizza quella persona più costosa rispetto a una richiesta che utilizza una persona senza tanti file (o che cerca meno argomenti nel forum)?
L’aumento dei costi è controllato tramite le seguenti due impostazioni in Persona:
Quando si utilizza una persona con file, verranno utilizzati
Token di caricamento dei blocchi * Blocchi di conversazione di ricerca
token aggiuntivi. È possibile modificare questi valori per controllare il rapporto costo/qualità.
Grazie mille. Qualcuno ha una buona esperienza su quali valori utilizzare per questi? Non ho idea.
Un PDF di 30 pagine avrebbe circa 7500 parole, forse. Questo potrebbe essere estrapolato a 20000 token.
Supponendo ciò, cosa significherebbe se impostassi Upload chunk tokens con un valore di 2000, ad esempio? “Leggerà e terrà conto solo del 10% del PDF” quando costruirà una risposta?
Lascia i valori predefiniti a meno che tu non abbia un buon motivo per cambiarli. I valori predefiniti di Discourse funzionano per la maggior parte dei casi d’uso.