AI Toolでパラメータ未指定時のエラー（例：「タグ」）

バグ
1

編集 - 組み込みの tags AI ツールでも同様の問題が発生すること、カスタムツールだけでなく、これを理解しました。2番目の投稿に進んでください。

AI ツールが 2 つあります。1 つはパラメータ付き、もう 1 つはパラメータなしです。どちらも「テスト実行」ボタンで合格します。しかし、ボットがツールを使用しようとすると、最初のものは機能し、2 番目のものは次のエラーで失敗します。

image
image1186×728 24.9 KB

AI bot - Custom tools にあるトラブルシューティングのヒントを確認しました。

  • テストインターフェイスは正常に合格します。
  • 私のグループは ai_bot_debugging_allowed_groups に含まれていますが、ボットトランスクリプトがどこにあるのかわかりません。
  • /logs には、上記と同じエラーが表示されるだけです。

ダミーパラメータを追加してみましたが、結果は同じでした。

3.5.0.beta1-dev で最新の状態です。Gemini 2.0 Flash を使用しています。


function invoke(params) {
    const url = `https://example.com/investments/sponsors`;
    let result = http.get(url);
    return result;
}

function details() {
    return "スポンサーを返します。";
}
2

多くの実験の後、組み込みの tags ツールでも同じエラーが発生するため、カスタムツールに問題はありません。パラメータを受け取るすべてのツールは期待どおりに動作します。tags と私のカスタムツールの共通点は、どちらもパラメータを受け取らないことです。

パラメータなしで関数を呼び出すには、ボットはかなり賢い必要があると思います。gpt-4o はこれらのツールを問題なく使用できます。しかし、flash 1.5 と 2.0、および haiku は常に失敗します。Sonnet は通常失敗しますが、一度だけ正しく動作しました。

エラーは常に次のいずれかです。

image
image1186×728 24.9 KB

または：

空文字列は有効な JSON 文字列ではありません。

ボットは、パラメータを受け取らない関数に何を渡すべきか（null？空文字列？空のオブジェクト？空の JSON {}？）を確信していないのではないかと推測しています。

3

評価をここに記述します。ご指摘ありがとうございます！

「いいね！」 1
4

パラメータなしのツールに関する評価があります。

そして、それは以下でパスします。

sam@arch evals % ./run -e no_params_tool
評価「no_params_tool」を実行中
GPT-4o: 合格 🟢
GPT-4o-mini: 合格 🟢
Claude 3.5 Haiku: 合格 🟢
Claude 3.5 Sonnet: 合格 🟢
Gemini 2.0 Flash: 合格 🟢
Gemini 2.0 pro: 合格 🟢

最新版でテストしましたか？

「いいね！」 1
5

ダミーのパラメータをカスタムツールに追加すると「修正」される3.5.0.beta1-devを使用しています。パラメータなしでは問題があると考えています。

ログはどこにありますか？

6

有効にすると、投稿の下部にある投稿アクションに (i) が表示されます