Probablemente esta sea una pregunta de novato, pero me pregunto si la cantidad de información en la configuración de la persona podría tener un impacto en los costos del uso de LLM como Claude o OpenAI?
Quiero decir, si subo muchos archivos de texto y PDF, ¿eso causará un aumento significativo en los tokens de la solicitud para que cada solicitud usando esa persona sea más cara que una solicitud que no tenga tantos archivos (o que busque menos temas en el foro)?
El aumento de costo se controla mediante las siguientes dos configuraciones en Persona:
Al usar una persona con archivos, utilizará
Tokens de fragmento de carga * Fragmentos de conversación de búsqueda
tokens adicionales. Puede ajustar estos para controlar la relación costo/calidad.
Muchas gracias. ¿Alguien tiene una buena experiencia sobre qué valores usar en estos? No tengo ni idea.
Un PDF de 30 páginas tendría alrededor de 7500 palabras, tal vez. Eso podría extrapolarse a 20000 tokens.
Suponiendo eso, ¿qué significaría si establezco Upload chunk tokens con un valor de 2000, por ejemplo? ¿“Leerá y tendrá en cuenta solo el 10% del PDF” al generar una respuesta?
Deja los valores predeterminados a menos que tengas una buena razón para cambiarlos. Los valores predeterminados de Discourse funcionan para la mayoría de los casos de uso.