Error en cualquier herramienta de IA sin parámetros, por ejemplo, "tags"

Error
1

EDITAR - Ahora entiendo que esto también sucede con la herramienta de IA tags integrada, no solo con mi herramienta personalizada. Por favor, salta a mi segunda publicación.

Tengo dos herramientas de IA personalizadas: una con parámetros y otra sin parámetros. Ambas funcionan con el botón “Ejecutar prueba”. Pero cuando un bot intenta usar las herramientas, la primera funciona y la segunda falla con:

image
image1186×728 24.9 KB

Veo los consejos de solución de problemas en AI bot - Custom tools.

  • La interfaz de prueba se ejecuta con éxito.
  • Mi grupo está en ai_bot_debugging_allowed_groups, pero no sé dónde están las transcripciones del bot.
  • /logs solo muestra el mismo error que se muestra arriba.

Intenté agregar un parámetro ficticio, mismo resultado.

Actualizado con 3.5.0.beta1-dev. Usando Gemini 2.0 Flash.

function invoke(params) {
    const url = `https://example.com/investments/sponsors`;
    let result = http.get(url);
    return result;
}

function details() {
    return "Returns sponsors.";
}
2

Después de muchos experimentos, obtengo los mismos errores con la herramienta tags integrada, así que no hay nada malo en mi herramienta personalizada. Todas las herramientas que toman parámetros funcionan como se esperaba. Lo común entre tags y mi herramienta personalizada es que ninguna de las dos toma ningún parámetro.

Creo que el bot tiene que ser bastante listo para llamar a una función sin parámetros. gpt-4o es capaz de usar esas herramientas sin ningún problema. Pero flash 1.5 y 2.0 y sonnet siempre fallan. Sonnet generalmente falla, pero lo hizo bien una vez.

Los errores son siempre uno de los siguientes:

image
image1186×728 24.9 KB

o:

Una cadena vacía no es una cadena JSON válida.

Tengo la impresión de que los bots no están seguros de qué pasar a una función que no toma parámetros: ¿null? ¿Una cadena vacía? ¿Un objeto vacío? ¿JSON vacío {}?

3

Escribiré una evaluación aquí, ¡gracias por plantearlo!

1 me gusta
4

Tengo una evaluación para herramientas sin parámetros:

Y pasa con:

sam@arch evals % ./run -e no_params_tool
Running evaluation 'no_params_tool'
GPT-4o: Passed 🟢
GPT-4o-mini: Passed 🟢
Claude 3.5 Haiku: Passed 🟢
Claude 3.5 Sonnet: Passed 🟢
Gemini 2.0 Flash: Passed 🟢
Gemini 2.0 pro: Passed 🟢

¿Probaste en la última versión?

1 me gusta
5

Estoy en 3.5.0.beta1-dev. Añadir un parámetro ficticio a mi herramienta personalizada lo “soluciona”, así que sigo pensando que hay un problema sin parámetros.

¿Dónde están estos registros?

6

Si lo habilitas, hay un icono (i) en las acciones posteriores en la parte inferior de una publicación.