Fehler in jedem KI-Tool ohne Parameter, z.B. "tags"

Fehler
1

EDIT – Jetzt verstehe ich, dass dies auch mit dem integrierten KI-Tool tags geschieht, nicht nur mit meinem benutzerdefinierten Tool. Bitte springen Sie zu meinem zweiten Beitrag.

Ich habe zwei benutzerdefinierte KI-Tools – eines mit Parametern und eines ohne Parameter. Beide bestehen den Test mit der Schaltfläche „Test ausführen“. Aber wenn ein Bot versucht, die Tools zu verwenden, funktioniert das erste, und das zweite schlägt mit folgender Meldung fehl:

image
image1186×728 24.9 KB

Ich sehe die Tipps zur Fehlerbehebung unter AI bot - Custom tools.

  • Die Testoberfläche meldet Erfolg.
  • Meine Gruppe ist in ai_bot_debugging_allowed_groups enthalten, aber ich weiß nicht, wo die Bot-Transkripte sind.
  • /logs zeigt nur denselben Fehler wie oben an.

Ich habe versucht, einen Dummy-Parameter hinzuzufügen, dasselbe Ergebnis.
Aktuell mit 3.5.0.beta1-dev. Verwende Gemini 2.0 Flash.


function invoke(params) {
    const url = `https://example.com/investments/sponsors`;
    let result = http.get(url);
    return result;
}

function details() {
    return "Gibt Sponsoren zurück.";
}
2

Nach vielen Experimenten erhalte ich dieselben Fehler mit dem integrierten tags-Tool, sodass mein benutzerdefiniertes Tool nichts falsch macht. Alle Tools, die Parameter entgegennehmen, funktionieren wie erwartet. Das Gemeinsame zwischen tags und meinem benutzerdefinierten Tool ist, dass keines von beiden Parameter entgegennimmt.

Ich glaube, der Bot muss ziemlich schlau sein, um eine Funktion ohne Parameter aufzurufen. gpt-4o kann diese Tools problemlos verwenden. Aber Flash 1.5 und 2.0 und Sonett schlagen immer fehl. Sonett schlägt normalerweise fehl, hat es aber einmal richtig gemacht.

Die Fehler sind immer einer der folgenden:

image
image1186×728 24.9 KB

oder:

Ein leerer String ist kein gültiger JSON-String.

Ich habe den Eindruck, dass die Bots nicht sicher sind, was sie an eine Funktion übergeben sollen, die keine Parameter entgegennimmt – null? Ein leerer String? Ein leeres Objekt? Leeres JSON {}?

3

werde hier eine Bewertung schreiben, danke, dass Sie darauf hingewiesen haben!

1 „Gefällt mir“
4

Ich habe eine Evaluierung für Tools ohne Parameter:

Und sie besteht mit:

sam@arch evals % ./run -e no_params_tool
Running evaluation 'no_params_tool'
GPT-4o: Passed 🟢
GPT-4o-mini: Passed 🟢
Claude 3.5 Haiku: Passed 🟢
Claude 3.5 Sonnet: Passed 🟢
Gemini 2.0 Flash: Passed 🟢
Gemini 2.0 pro: Passed 🟢

Hast du die neueste Version getestet?

1 „Gefällt mir“
5

Ich bin auf 3.5.0.beta1-dev. Das Hinzufügen eines Dummy-Parameters zu meinem benutzerdefinierten Tool “behebt” es, daher glaube ich immer noch, dass es ein Problem ohne Parameter gibt.

Wo sind diese Protokolle?

6

Wenn Sie dies aktivieren, befindet sich am unteren Rand eines Beitrags in den Beitragsaktionen ein (i).