¿Cómo acelerar el tiempo de respuesta del Agente?

¿Qué ajustes recomiendas modificar o aumentar para reducir el tiempo de respuesta? Supón que solo hablo de una única conversación, no de decenas ejecutándose al mismo tiempo. Aparte de recortar el prompt/la recuperación aumentada por generación (RAG), parece que el Esfuerzo de pensamiento (Thinking Effort) es el único ajuste que realmente afecta el tiempo en una conversación individual.

Como contexto, tengo un agente equipado con GPT Sol 6.1 y cargado con la documentación de nuestro producto, artículos de la base de conocimiento y algunas preguntas y respuestas sobre casos especiales o problemas comunes.

Acabo de notar un ajuste para subagentes. Me pregunto si puedo usarlo para dividir algunas versiones o componentes de los productos y agilizar el RAG.

  1. Esfuerzo de razonamiento
    Sol en modo bajo es muy competente; lo uso extensamente para muchas tareas, así que pruébalo primero.

  2. Nivel de servicio
    Discourse también admite el nivel de servicio priority, que es lo mismo que «modo rápido» y lo hace 2,5 veces más rápido. Si quieres que sea aún más rápido, podríamos añadir ultrafast como opción allí.

  3. Caché de prompts
    Mueve todas las partes dinámicas de tu prompt lo más tarde posible para aumentar lo que se puede guardar en caché y reducir el tiempo de prefill.

  4. Experimenta con el equilibrio entre RAG + herramientas y prompt codificado en duro
    Dependiendo de cuán grande sea tu base de conocimiento, a veces usar un prompt muy grande será más rápido y económico que la carga dinámica de conocimiento.

  5. Herramientas más rápidas
    Si, como hacemos en ask.discourse.com, haces un uso extensivo de herramientas personalizadas para fuentes de fundamentación dinámicas, optimizarlas para que respondan cuanto antes es muy beneficioso.

  6. Modelos más pequeños
    Dependiendo de tu caso de uso, cambiar a Luna puede reducir la brecha de velocidad con una calidad aceptable.

¡Gracias! Definitivamente probaré todas estas opciones.

¿Alguna opinión sobre la eficacia de los subagentes en este caso? Eso realmente me ayudaría a eliminar parte de la grasa del RAG.

Definitivamente puede ayudar, pero también es la más difícil en cuanto a esfuerzo y mantenimiento futuro, así que yo solo recurriría a ella si aún no te parece correcta después de explorar las opciones más fáciles de implementar.