Erro em qualquer ferramenta de IA sem parâmetros, por exemplo, "tags"

Bug
1

EDITAR - Agora entendo que isso também acontece com a Ferramenta de IA tags integrada, não apenas com minha ferramenta personalizada. Por favor, pule para a minha segunda postagem.

Tenho duas Ferramentas de IA personalizadas - uma com parâmetros e outra sem parâmetros. Ambas funcionam com o botão Testar. Mas quando um bot tenta usar as ferramentas, a primeira funciona e a segunda falha com:

image
image1186×728 24.9 KB

Vejo as dicas de solução de problemas em AI bot - Custom tools.

  • A interface Testar funciona com Sucesso.
  • Meu grupo está em ai_bot_debugging_allowed_groups, mas não sei onde estão as transcrições do bot.
  • /logs mostra apenas o mesmo erro mostrado acima.

Tentei adicionar um parâmetro dummy, mesmo resultado.

Atualizado com 3.5.0.beta1-dev. Usando Gemini 2.0 Flash.


function invoke(params) {
    const url = `https://example.com/investments/sponsors`;
    let result = http.get(url);
    return result;
}

function details() {
    return "Retorna patrocinadores.";
}
2

Após muitos experimentos, recebo os mesmos erros com a ferramenta tags integrada, então não há nada de errado com minha ferramenta personalizada. Todas as ferramentas que aceitam parâmetros funcionam como esperado. A coisa em comum entre tags e minha ferramenta personalizada é que nenhuma delas aceita parâmetros.

Acredito que o bot tem que ser muito esperto para chamar uma função sem parâmetros. O gpt-4o é capaz de usar essas ferramentas sem problemas. Mas flash 1.5 e 2.0 e haiku sempre falham. Sonnet geralmente falha, mas acertou uma vez.

Os erros são sempre um dos seguintes:

image
image1186×728 24.9 KB

ou:

Uma string vazia não é uma string JSON válida.

Tenho a impressão de que os bots não têm certeza do que passar para uma função que não aceita parâmetros - null? Uma string vazia? Um objeto vazio? JSON vazio {}?

3

escreverei uma avaliação aqui, obrigado por levantar!

1 curtida
4

Tenho uma avaliação para ferramentas sem parâmetros:

E ela passa com:

sam@arch evals % ./run -e no_params_tool
Running evaluation 'no_params_tool'
GPT-4o: Passed 🟢
GPT-4o-mini: Passed 🟢
Claude 3.5 Haiku: Passed 🟢
Claude 3.5 Sonnet: Passed 🟢
Gemini 2.0 Flash: Passed 🟢
Gemini 2.0 pro: Passed 🟢

Você testou na versão mais recente?

1 curtida
5

Estou na versão 3.5.0.beta1-dev. Adicionar um parâmetro dummy à minha ferramenta personalizada a “corrige”, então ainda acho que há um problema sem parâmetros.

Onde estão esses logs?

6

Se você habilitar, haverá um (i) nas ações de postagem na parte inferior de uma postagem.