일부 워크플로우에서는 에이전트가 상당한 작업을 처리하도록 의존해 왔습니다. 최근에는 대형 프롬프트를 로드하는 에이전트 노드의 로직을 코드로 옮기는 작업을 진행 중입니다.
이렇게 하는 이유는 다음과 같습니다:
- 토큰을 엄청 많이 절약
- 워크플로우 실행 속도가 훨씬 빨라짐
- 동작이 더 예측 가능해짐
에이전트는 빠르게 시작하기에 좋은 방법이었지만, 지금은 속도와 신뢰성을 원합니다.
이러한 워크플로우 중 몇 개를 옮긴 후, 테스트 실행 중에 처음 다음과 같은 오류를 encounter했습니다:
Sandbox execution time exceeded 1000ms for this workflow
이전에는 에이전트 노드를 사용했던 워크플로우들이 훨씬 오래 걸렸기 때문에 이 오류가 놀라웠습니다.
하지만 분명히 에이전트 노드 실행 시간은 다르게 계산되거나 하는 모양입니다. 이 부분이 설정되고 평가되는 위치라고 생각합니다:
참고할 점은 이 워크플로우에서 루프를 사용한다는 것입니다.
외부 데이터 소스에서 매우 클 수 있는 데이터셋을 배처별로 처리합니다. 루프가 이 부분을 잘 처리하여 루프별 배처 크기를 설정해 원활하게 실행되도록 할 수 있습니다.
하지만, 워크플로우 전체에 적용되는 타임아웃은 이 경우 다소 문제가 됩니다.
여기서 올바른 솔루션이 무엇인지 확신할 수 없지만, 저에게는 훨씬 더 효율적으로 느껴지는 이러한 워크플로우가 이 타임아웃에 걸리지 않고 실행될 수 있는 "출구"가 있길 바랍니다.
