Suavize o timeout do fluxo de trabalho fixo ou torne-o configurável

Tenho alguns fluxos de trabalho nos quais venho dependendo de agentes para fazer o trabalho pesado. Recentemente, estou portando a lógica dos nós de agentes (que carregam prompts grandes) para código.

A justificativa para fazer isso é:

  • economizar um montão de tokens
  • as execuções dos fluxos de trabalho ficam muito mais rápidas
  • o comportamento fica mais previsível

Os agentes foram uma ótima maneira de começar rapidamente, mas agora quero velocidade e confiabilidade.

Depois de migrar alguns desses fluxos, durante uma execução de teste, deparei-me com este erro pela primeira vez:

Tempo de execução do sandbox excedeu 1000ms para este fluxo de trabalho

Achei surpreendente, porque meus fluxos de trabalho anteriores que dependiam de nós de agentes demoravam muito mais.

Mas, aparentemente, o tempo de execução do nó de agente é contabilizado de maneira diferente ou algo assim. Acho que é aqui que isso está sendo configurado e avaliado:

Um ponto importante a observar é que estou usando um loop neste fluxo de trabalho.

Ele processa dados em lotes de uma fonte externa, que pode ser bastante grande. O loop lida bem com isso, permitindo que eu configure o tamanho do lote por iteração para manter tudo funcionando sem problemas.

Mas isso significa que um timeout que se aplica ao fluxo de trabalho como um todo é um pouco problemático neste caso.

Não tenho certeza de qual é a solução certa aqui, mas gostaria de ter alguma “saída” para que esses fluxos de trabalho, que parecem muito mais eficientes para mim, possam rodar sem atingir esse timeout.