Quali impostazioni consigliate di modificare o incrementare per ridurre i tempi di risposta? Presuppongo che si parli di una singola conversazione, non di decine in esecuzione simultanea. A parte l’ottimizzazione del prompt/RAG, sembra che Thinking Effort sia l’unica impostazione che incide davvero sui tempi per una conversazione singola.
Per darti un’idea del contesto, ho un agente basato su GPT Sol 6.1, caricato con la documentazione dei nostri prodotti, gli articoli della knowledge base e alcune domande e risposte “a trabocchetto”.
Ho appena notato un’impostazione per i subagenti. Mi chiedo se possa utilizzarla per separare alcune versioni/componenti dei prodotti e semplificare la RAG?