Como acelerar o tempo de resposta do Agent?

Quais configurações você recomenda ajustar ou aumentar para reduzir o tempo de resposta? Presuma que estou falando apenas de uma única conversa, não de dezenas delas rodando ao mesmo tempo. Além de encurtar o prompt/RAG, parece que o Thinking Effort (Esforço de Pensamento) é a única configuração que realmente afeta o tempo de uma conversa individual.

Como contexto, tenho um agente equipado com o GPT Sol 6.1 e carregado com a documentação do nosso produto, artigos da base de conhecimento e algumas perguntas e respostas sobre “pegadinhas”.

Acabei de notar uma configuração de subagente. Me pergunto se posso usá-la para dividir algumas versões/componentes do produto e otimizar o RAG?

  1. Esforço de raciocínio
    O modelo Sol com esforço baixo é muito capaz; uso-o extensamente para muitas tarefas, então eu tentaria isso primeiro.

  2. Nível de serviço
    O Discourse também suporta o nível de serviço priority, que é o mesmo que “Modo rápido” e torna as respostas 2,5 vezes mais rápidas. Poderíamos adicionar ultrafast como opção lá se você quiser que seja ainda mais rápido.

  3. Cache de prompt
    Mova todas as partes dinâmicas do seu prompt o mais tarde possível para aumentar a quantidade de conteúdo que pode ser armazenado em cache e reduzir o tempo de prefill.

  4. Experimente a compensação entre RAG + ferramentas vs. prompt fixo
    Dependendo do tamanho da sua base de conhecimento, às vezes usar um prompt muito grande será mais rápido e mais barato do que o carregamento dinâmico de conhecimento.

  5. Ferramentas mais rápidas
    Se você, assim como nós no ask.discourse.com, utiliza amplamente ferramentas personalizadas para fontes de ancoragem dinâmica, otimizar essas ferramentas para responder o mais rápido possível é muito benéfico.

  6. Modelos menores
    Dependendo do seu caso de uso, mudar para o Luna pode reduzir a diferença de velocidade com uma qualidade aceitável.

Obrigado! Definitivamente vou tentar tudo isso.

Alguma opinião sobre a eficácia dos subagentes nesse caso? Isso realmente me ajudaria a enxugar o RAG.

Definitivamente pode ajudar, mas também é o mais trabalhoso e o mais difícil de manter a longo prazo, então eu só recorreria a ele se ainda não parecer a opção certa depois de você explorar as soluções mais fáceis.