Come velocizzare i tempi di risposta dell'agente?

Quali impostazioni consigliate di modificare o incrementare per ridurre i tempi di risposta? Presuppongo che si parli di una singola conversazione, non di decine in esecuzione simultanea. A parte l’ottimizzazione del prompt/RAG, sembra che Thinking Effort sia l’unica impostazione che incide davvero sui tempi per una conversazione singola.

Per darti un’idea del contesto, ho un agente basato su GPT Sol 6.1, caricato con la documentazione dei nostri prodotti, gli articoli della knowledge base e alcune domande e risposte “a trabocchetto”.

Ho appena notato un’impostazione per i subagenti. Mi chiedo se possa utilizzarla per separare alcune versioni/componenti dei prodotti e semplificare la RAG?

  1. Effort di ragionamento
    Sol a livello basso è molto capace; lo utilizzo ampiamente per molti task, quindi proverei prima quello.

  2. Livello di servizio
    Discourse supporta anche il livello di servizio priority, che corrisponde alla “modalità veloce” e rende le operazioni 2,5 volte più rapide. Potremmo aggiungere ultrafast come opzione se desiderate prestazioni ancora più veloci.

  3. Caching dei prompt
    Spostate tutte le parti dinamiche del vostro prompt il più tardi possibile per aumentare la porzione memorizzabile nella cache e ridurre il tempo di prefill.

  4. Sperimentate il compromesso tra RAG + strumenti e prompt codificati staticamente
    A seconda delle dimensioni della vostra base di conoscenza, a volte l’utilizzo di un prompt molto grande risulta più rapido ed economico rispetto al caricamento dinamico delle conoscenze.

  5. Strumenti più veloci
    Se, come facciamo su ask.discourse.com, fate ampio uso di strumenti personalizzati per le fonti di riferimento dinamiche, ottimizzarli per rispondere il prima possibile è molto vantaggioso.

  6. Modelli più piccoli
    A seconda del vostro caso d’uso, passare a Luna potrebbe colmare il divario in termini di velocità con una qualità accettabile.

Grazie! Proverò assolutamente tutte queste opzioni.

Avete qualche pensiero sull’efficacia dei subagent in questo caso? Mi aiuterebbe davvero a snellire la RAG.

Può certamente aiutare, ma è anche la soluzione più difficile in termini di lavoro e manutenzione futura, quindi ti consiglierei di ricorrervi solo se non ti sembra ancora la scelta giusta dopo aver esplorato quelle più facili da implementare.