¿Qué ajustes recomiendas modificar o aumentar para reducir el tiempo de respuesta? Supón que solo hablo de una única conversación, no de decenas ejecutándose al mismo tiempo. Aparte de recortar el prompt/la recuperación aumentada por generación (RAG), parece que el Esfuerzo de pensamiento (Thinking Effort) es el único ajuste que realmente afecta el tiempo en una conversación individual.
Como contexto, tengo un agente equipado con GPT Sol 6.1 y cargado con la documentación de nuestro producto, artículos de la base de conocimiento y algunas preguntas y respuestas sobre casos especiales o problemas comunes.
Acabo de notar un ajuste para subagentes. Me pregunto si puedo usarlo para dividir algunas versiones o componentes de los productos y agilizar el RAG.