AI 트리아지 예시가 제대로 전송되지 않나요?

[markschmucker (Mark S)]

게시물에 은행 송금 정보가 있는지 확인하는 에이전트를 하나 만들었습니다. (이것은 위험할 수 있습니다.) Examples 섹션에 예시를 하나 주었죠.

시스템 프롬프트

이 게시물에 계좌 번호와 라우팅 번호를 포함한 은행 송금 정보가 있는지 확인하세요. 게시물에 송금 정보가 포함된 것으로 판단되면 "flag"라는 단어 하나만 응답하세요. 그렇지 않으면 "ignore"라는 단어 하나만 응답하세요.

예시 1 사용자 메시지

여러분, 조직한 그룹 구매의 송금 정보를 공유하고 싶어서요. 수취 은행: First National Trust Bank, Chicago, IL | ABA/라우팅 번호: 0710003 | 계좌 번호: 4827093 | 계좌명: Marcus T. Holdings LLC | 참조: GroupBuy-2024-Q4.

예시 1 모델 응답

flag

에이전트는 은행 정보가 전혀 없는 모든 게시물을 "flag"로 표시하고 있었습니다. 그래서 시스템 프롬프트를 수정하여 "flag"로 응답하는 이유를 알려달라고 했더니, 검토 대기열에서 다음과 같은 응답을 받았습니다.

모델의 응답:

flag 이 게시물의 첫 단락에 다음과 같은 상세한 은행 송금 정보가 포함되어 있습니다: - 수취 은행 이름 및 위치 (First National Trust Bank, Chicago, IL) - ABA/라우팅 번호: 0710003 - 계좌 번호: 4827093 - 계좌명: Marcus T. Holdings LLC

결국 모델이 예시를 평가해야 할 게시물 일부로 해석하고 있었습니다. "다음과 같은 예시들이 있습니다…"와 같은 설명과 함께 예시가 제대로 전송되고 있는 건가요?

[Falco]

모델에 문자열을 반환하도록 지시하는 대신, Triage with AI Agent의 automation 유형을 사용하고, 이 에이전트에 flag 도구에 대한 접근 권한을 부여할 수 있습니다.

이후 조건이 충족될 때 도구를 호출하도록 에이전트에 지시하면 됩니다.

[markschmucker (Mark S)]

맞아요, 더 깔끔한 해결책이 맞고 그렇게 변경했지만 문제는 해결되지 않았습니다. 여전히 모든 게시글이 플래그 처리됩니다. 예시가 단순히 예시일 뿐이라는 것을 이해하지 못하고 있는 것 같습니다.

자동화 설정

에이전트 설정

예문에 있는 텍스트를 근거로 모든 게시글을 플래그 처리합니다

[Falco]

1. 어떤 LLM을 사용하고 계신가요?

2. 해당 예시들은 잘못되었습니다. 예시들은 사용자의 메시지 이전에 이전 턴으로 전송되므로, LLM이 기대하는 응답을 정확히 모방해야 합니다. 만약 예시가 도구 호출을 원하는 상황이라면, LLM의 도구 호출을 모방한 응답이어야 합니다. 다만, 사용자의 사용 사례는 매우 단순하므로, 도구를 언제 호출해야 하는지 명확히 지시하는 프롬프트만으로도 현재 대부분의 LLM이 예시 없이도 원샷으로 처리할 수 있을 것입니다.

[markschmucker (Mark S)]

저는 Sonnet 4.5를 사용 중인데, 이 간단한 경우에는 예시가 필요 없다고 동의합니다. 하지만 더 복잡한 경우라면 LLM의 도구 호출을 어떻게 "모방"해야 할까요? 예시 상자에 무엇을 입력해야 하나요? 어딘가에 예시용 예시가 있나요?