Errore in qualsiasi strumento AI senza parametri, ad esempio "tags"

MODIFICA- Ora capisco che succede anche con lo strumento AI tags integrato, non solo con il mio strumento personalizzato. Si prega di passare al mio secondo post.

Ho due strumenti AI personalizzati: uno con parametri e uno senza parametri. Entrambi funzionano con il pulsante “Esegui test”. Ma quando un bot tenta di utilizzare gli strumenti, il primo funziona e il secondo fallisce con:

Vedo i suggerimenti per la risoluzione dei problemi su AI bot - Custom tools.

  • L’interfaccia di test funziona con Successo.
  • Il mio gruppo è in ai_bot_debugging_allowed_groups, ma non so dove si trovino le trascrizioni del bot.
  • /logs mostra solo lo stesso errore mostrato sopra.

Ho provato ad aggiungere un parametro fittizio, stesso risultato.

Aggiornato a 3.5.0.beta1-dev. Utilizzo Gemini 2.0 Flash.


function invoke(params) {
    const url = `https://example.com/investments/sponsors`;
    let result = http.get(url);
    return result;
}

function details() {
    return "Restituisce gli sponsor.";
}

Dopo molti esperimenti, ottengo gli stessi errori con lo strumento tags integrato, quindi non c’è niente di sbagliato nel mio strumento personalizzato. Tutti gli strumenti che accettano parametri funzionano come previsto. La cosa in comune tra tags e il mio strumento personalizzato è che nessuno dei due accetta parametri.

Credo che il bot debba essere piuttosto intelligente per chiamare una funzione senza parametri. gpt-4o è in grado di utilizzare questi strumenti senza problemi. Ma flash 1.5 e 2.0 e sonnet falliscono sempre. Sonnet di solito fallisce ma ci è riuscito una volta.

Gli errori sono sempre uno dei seguenti:

o:

Una stringa vuota non è una stringa JSON valida.

Ho l’impressione che i bot non siano sicuri di cosa passare a una funzione che non accetta parametri: null? Una stringa vuota? Un oggetto vuoto? JSON vuoto {}?

scriverò una valutazione qui, grazie per averla sollevata!

1 Mi Piace

Ho una valutazione per strumenti senza parametri:

E passa con:

sam@arch evals % ./run -e no_params_tool
Running evaluation 'no_params_tool'
GPT-4o: Passed 🟢
GPT-4o-mini: Passed 🟢
Claude 3.5 Haiku: Passed 🟢
Claude 3.5 Sonnet: Passed 🟢
Gemini 2.0 Flash: Passed 🟢
Gemini 2.0 pro: Passed 🟢

Hai testato sull’ultima versione?

1 Mi Piace

Sono su 3.5.0.beta1-dev. Aggiungere un parametro fittizio al mio strumento personalizzato lo “risolve”, quindi penso ancora che ci sia un problema con nessun parametro.

Dove sono questi log?

Se lo abiliti, c’è una (i) nelle azioni del post in fondo a un post