에이전트 응답 속도를 높이는 방법은?

응답 시간을 줄이기 위해 조정하거나 증가시킬 설정으로는 어떤 것을 권장하시나요? 여기서는 수십 개의 동시 세션이 아닌, 단일 대화만 고려한다고 가정하겠습니다. 프롬프트/RAG 간소화 외에는 Thinking Effort 설정이 개별 대화의 소요 시간에 실질적으로 영향을 미치는 유일한 설정으로 보입니다.

배경 설명으로, GPT Sol 6.1을 사용하는 에이전트를 구성하여 제품 문서, 지식 베이스 기사 및 몇 가지 “함정” 질문과 답변을 로드했습니다.

마침 방금 하위 에이전트(subagent) 설정을 발견했습니다. 이를 통해 일부 제품 버전/컴포넌트를 분리하여 RAG 프로세스를 간소화할 수 있을지 궁금합니다.

  1. 추론 노력(Reasoning effort)
    low 설정의 Sol은 매우 유능합니다. 저는 여러 작업에서 이를 널리 사용하므로, 먼저 이것을 시도해 보세요.

  2. 서비스 등급(Service Tier)
    Discourse에서는 "Fast mode"와 동일하며 속도를 2.5배 높여주는 서비스 등급 priority도 지원합니다. 더 빠른 속도를 원한다면 ultrafast를 옵션으로 추가할 수 있습니다.

  3. 프롬프트 캐싱
    캐싱 가능한 양을 늘리고 사전 처리(prefill) 시간을 줄이기 위해 프롬프트의 동적 부분을 가능한 한 늦게 배치하세요.

  4. RAG + 도구와 하드코딩된 프롬프트 간 트레이드오프 실험
    KB의 크기에 따라, 매우 큰 프롬프트를 사용하는 것이 지식의 동적 로딩보다 더 빠르고 저렴할 수 있습니다.

  5. 더 빠른 도구
    ask.discourse.com에서 우리가 그러하듯, 동적 접지(grounding) 소스를 위해 맞춤 도구를 광범위하게 사용한다면, 이러한 도구가 ASAP(최대한 빨리) 응답하도록 최적화하는 것이 매우 유리합니다.

  6. 더 작은 모델
    사용 사례에 따라 Luna로 전환하면 수용 가능한 품질 수준에서 속도 격차를 좁힐 수 있습니다.

감사합니다! 이 방법들을 모두 꼭 시도해 볼게요.

이 경우 서브에이전트의 효과에 대해 어떻게 생각하시나요? RAG를 좀 더 간결하게 만드는 데 정말 큰 도움이 될 것 같습니다.

확실히 도움이 될 수 있지만, 노동력과 향후 유지보수 측면에서 가장 어려운 선택지이기도 합니다. 따라서 먼저 손쉽게 해결할 수 있는 방법들을 시도해 보신 후에도 여전히 문제가 해결되지 않는다면 이것을 고려해 보시기 바랍니다.