Quels paramètres recommandez-vous d’ajuster ou d’augmenter pour réduire le temps de réponse ? Supposons qu’il s’agisse uniquement d’une seule conversation, et non de dizaines de conversations simultanées. À part la réduction du prompt/RAG, il semble que l’Effort de réflexion (Thinking Effort) soit le seul paramètre qui influence réellement le temps de réponse pour une conversation individuelle.
Pour le contexte, j’ai un agent équipé de GPT Sol 6.1 et alimenté par notre documentation produit, des articles de base de connaissances et certaines questions/réponses pièges.
Je viens juste de remarquer un paramètre de sous-agent. Je me demande si je peux l’utiliser pour diviser certaines versions/composants du produit et rationaliser le RAG ?