하드코딩된 워크플로우 타임아웃을 완화하거나 구성 가능하도록 변경

일부 워크플로우에서는 에이전트가 상당한 작업을 처리하도록 의존해 왔습니다. 최근에는 대형 프롬프트를 로드하는 에이전트 노드의 로직을 코드로 옮기는 작업을 진행 중입니다.

이렇게 하는 이유는 다음과 같습니다:

  • 토큰을 엄청 많이 절약
  • 워크플로우 실행 속도가 훨씬 빨라짐
  • 동작이 더 예측 가능해짐

에이전트는 빠르게 시작하기에 좋은 방법이었지만, 지금은 속도와 신뢰성을 원합니다.

이러한 워크플로우 중 몇 개를 옮긴 후, 테스트 실행 중에 처음 다음과 같은 오류를 encounter했습니다:

Sandbox execution time exceeded 1000ms for this workflow

이전에는 에이전트 노드를 사용했던 워크플로우들이 훨씬 오래 걸렸기 때문에 이 오류가 놀라웠습니다.

하지만 분명히 에이전트 노드 실행 시간은 다르게 계산되거나 하는 모양입니다. 이 부분이 설정되고 평가되는 위치라고 생각합니다:

참고할 점은 이 워크플로우에서 루프를 사용한다는 것입니다.

외부 데이터 소스에서 매우 클 수 있는 데이터셋을 배처별로 처리합니다. 루프가 이 부분을 잘 처리하여 루프별 배처 크기를 설정해 원활하게 실행되도록 할 수 있습니다.

하지만, 워크플로우 전체에 적용되는 타임아웃은 이 경우 다소 문제가 됩니다.

여기서 올바른 솔루션이 무엇인지 확신할 수 없지만, 저에게는 훨씬 더 효율적으로 느껴지는 이러한 워크플로우가 이 타임아웃에 걸리지 않고 실행될 수 있는 "출구"가 있길 바랍니다.