매개변수가 없는 AI 도구에서 오류 발생, 예: "tags"

기여 버그
1

수정 — 이제 내 커스텀 툴뿐만 아니라 내장 tags AI 툴에서도 동일한 문제가 발생한다는 것을 알게 되었습니다. 두 번째 게시물로 건너뛰어 주세요.

파라미터가 있는 커스텀 AI 툴과 파라미터가 없는 커스텀 AI 툴이 두 개 있습니다. 두 툴 모두 ‘Run Test’ 버튼으로 테스트를 통과합니다. 하지만 봇이 툴을 사용하려고 하면 첫 번째는 정상 작동하고, 두 번째는 다음과 같은 오류로 실패합니다:

image
image1186×728 24.9 KB

AI bot - Custom tools 에 있는 문제 해결 팁을 확인했습니다.

  • 테스트 인터페이스는 'Success’로 통과합니다.
  • 제 그룹은 ai_bot_debugging_allowed_groups에 포함되어 있지만, 봇 트랜스크립트가 어디에 있는지 모르겠습니다.
  • /logs에는 위에서 표시된 동일한 오류만 표시됩니다.

더미 파라미터를 추가해 보았지만 결과는 동일했습니다.

3.5.0.beta1-dev로 업데이트되어 있습니다. Gemini 2.0 Flash를 사용 중입니다.


function invoke(params) {
    const url = `https://example.com/investments/sponsors`;
    let result = http.get(url);
    return result;
}

function details() {
    return "Returns sponsors.";
}
2

많은 실험 끝에 내장된 tags 도구에서도 동일한 오류가 발생한다는 것을 알게 되었으니, 나의 커스텀 도구에 문제가 있는 것은 아닙니다. 매개변수를 받는 모든 도구는 예상대로 작동합니다. tags와 나의 커스텀 도구의 공통점은 둘 다 매개변수를 받지 않는다는 것입니다.

매개변수가 없는 함수를 호출하려면 봇이 꽤 똑똑해야 한다고 생각합니다. gpt-4o는 이러한 도구를 문제없이 사용할 수 있습니다. 하지만 flash 1.5와 2.0, 그리고 haiku는 항상 실패합니다. Sonnet은 대개 실패하지만 한 번은 성공했습니다.

오류는 항상 다음 중 하나입니다:

image
image1186×728 24.9 KB

또는:

빈 문자열은 유효한 JSON 문자열이 아닙니다.

매개변수를 받지 않는 함수에 무엇을 전달해야 할지 봇들이 확신이 서지 않는 것 같습니다. null? 빈 문자열? 빈 객체? 빈 json {}?

3

여기서 eval을 작성하겠습니다. 제보해 주셔서 감사합니다!

1개의 좋아요
4

파라미터가 없는 도구를 위한 eval을 가지고 있습니다:

그리고 다음처럼 통과합니다:

sam@arch evals % ./run -e no_params_tool
Running evaluation 'no_params_tool'
GPT-4o: Passed 🟢
GPT-4o-mini: Passed 🟢
Claude 3.5 Haiku: Passed 🟢
Claude 3.5 Sonnet: Passed 🟢
Gemini 2.0 Flash: Passed 🟢
Gemini 2.0 pro: Passed 🟢

최신 버전으로 테스트해 보셨나요?

1개의 좋아요
5

현재 3.5.0.beta1-dev 버전을 사용 중입니다. 커스텀 도구에 더미 파라미터를 추가하면 문제가 '해결’되므로, 여전히 파라미터가 없는 경우에 문제가 있는 것으로 생각합니다.

이 로그는 어디에 있나요?

6

활성화하면 게시글 하단의 게시글 조치 영역에 (i)가 표시됩니다