Erreur dans tout outil d'IA sans paramètres, par exemple "tags"

MODIFICATION - Je comprends maintenant que cela se produit également avec l’outil d’IA tags intégré, pas seulement avec mon outil personnalisé. Veuillez passer à mon deuxième message.

J’ai deux outils d’IA personnalisés - un avec des paramètres et un sans paramètres. Les deux fonctionnent avec le bouton “Exécuter le test”. Mais lorsqu’un bot essaie d’utiliser les outils, le premier fonctionne et le second échoue avec :

Je vois les conseils de dépannage sur AI bot - Custom tools.

  • L’interface de test fonctionne avec succès.
  • Mon groupe est dans ai_bot_debugging_allowed_groups, mais je ne sais pas où se trouvent les transcriptions des bots.
  • /logs affiche la même erreur que celle montrée ci-dessus.

J’ai essayé d’ajouter un paramètre factice, même résultat.

À jour avec la version 3.5.0.beta1-dev. Utilisation de Gemini 2.0 Flash.

function invoke(params) {
    const url = `https://example.com/investments/sponsors`;
    let result = http.get(url);
    return result;
}

function details() {
    return "Renvoie les sponsors.";
}

Après de nombreuses expériences, j’obtiens les mêmes erreurs avec l’outil intégré tags, donc il n’y a rien de mal avec mon outil personnalisé. Tous les outils qui prennent des paramètres fonctionnent comme prévu. Le point commun entre tags et mon outil personnalisé est que aucun des deux ne prend de paramètres.

Je pense que le bot doit être assez intelligent pour appeler une fonction sans paramètres. gpt-4o est capable d’utiliser ces outils sans problème. Mais flash 1.5 et 2.0 et sonnet échouent toujours. Sonnet échoue généralement mais y parvient une fois.

Les erreurs sont toujours l’une des suivantes :

ou :

Une chaîne vide n’est pas une chaîne JSON valide.

J’ai l’impression que les bots ne savent pas quoi passer à une fonction qui ne prend aucun paramètre : null ? Une chaîne vide ? Un objet vide ? Un JSON vide {} ?

Je vais écrire une évaluation ici, merci d’avoir soulevé le problème !

1 « J'aime »

J’ai une évaluation pour les outils sans paramètre :

Et cela passe avec :

sam@arch evals % ./run -e no_params_tool
Running evaluation 'no_params_tool'
GPT-4o: Passed 🟢
GPT-4o-mini: Passed 🟢
Claude 3.5 Haiku: Passed 🟢
Claude 3.5 Sonnet: Passed 🟢
Gemini 2.0 Flash: Passed 🟢
Gemini 2.0 pro: Passed 🟢

Avez-vous testé sur la dernière version ?

1 « J'aime »

Je suis sur la version 3.5.0.beta1-dev. L’ajout d’un paramètre factice à mon outil personnalisé le « corrige », je pense donc toujours qu’il y a un problème sans paramètres.

Où se trouvent ces journaux ?

Si vous l’activez, il y a un (i) dans les actions de publication en bas d’une publication