Comment accélérer le temps de réponse de l'agent ?

Quels paramètres recommandez-vous d’ajuster ou d’augmenter pour réduire le temps de réponse ? Supposons qu’il s’agisse uniquement d’une seule conversation, et non de dizaines de conversations simultanées. À part la réduction du prompt/RAG, il semble que l’Effort de réflexion (Thinking Effort) soit le seul paramètre qui influence réellement le temps de réponse pour une conversation individuelle.

Pour le contexte, j’ai un agent équipé de GPT Sol 6.1 et alimenté par notre documentation produit, des articles de base de connaissances et certaines questions/réponses pièges.

Je viens juste de remarquer un paramètre de sous-agent. Je me demande si je peux l’utiliser pour diviser certaines versions/composants du produit et rationaliser le RAG ?

  1. Effort de raisonnement
    Sol avec un effort faible est très performant ; je l’utilise abondamment pour de nombreuses tâches, donc je vous conseillerais de l’essayer en premier.

  2. Niveau de service
    Discourse prend également en charge le niveau de service priority, qui correspond au « mode rapide » et offre une vitesse 2,5 fois supérieure. Nous pourrions ajouter l’option ultrafast si vous souhaitez une vitesse encore plus élevée.

  3. Mise en cache des prompts
    Déplacez toutes les parties dynamiques de votre prompt aussi loin que possible afin d’augmenter la part du prompt mettant en cache et de réduire le temps de pré-remplissage.

  4. Expérimenter le compromis entre RAG + outils et prompt codé en dur
    Selon la taille de votre base de connaissances, utiliser un très grand prompt peut parfois être plus rapide et moins coûteux que le chargement dynamique des connaissances.

  5. Outils plus rapides
    Si, comme nous le faisons sur ask.discourse.com, vous utilisez abondamment des outils personnalisés pour des sources de vérification dynamiques, il est très bénéfique de les optimiser pour qu’ils répondent le plus rapidement possible.

  6. Modèles plus petits
    Selon votre cas d’usage, passer à Luna peut combler l’écart de vitesse avec une qualité acceptable.

Merci ! Je vais assurément toutes les essayer.

Des avis sur l’efficacité des sous-agents dans ce cas ? Cela m’aiderait vraiment à élaguer le RAG.

Ça peut certainement aider, mais c’est aussi le plus difficile en termes de charge de travail et de maintenance future, donc je ne m’y fierais que si ça ne semble toujours pas idéal après avoir exploré les solutions les plus évidentes.