Ошибка в любом AI-инструменте без параметров, например "tags"

sam · 24.Февраль.2025 05:37:17

У меня есть оценка для инструментов без параметров:

tool_calls/no_params_native.yml

34e238de9


      
          id: no_params_tool
          name: no_params_tool
          description: Eval to confirm that tool calls with no params work
          type: prompt
          args:
            stream: true
            system_prompt: "You are a helpful bot"
            message: "Look up the categories please"
            tools:
              -
                name: "categories"
                description: "Look up the categories"
          expected_tool_call:
            name: categories
            params: { }

И она проходит с:

sam@arch evals % ./run -e no_params_tool
Запуск оценки 'no_params_tool'
GPT-4o: Прошло 🟢
GPT-4o-mini: Прошло 🟢
Claude 3.5 Haiku: Прошло 🟢
Claude 3.5 Sonnet: Прошло 🟢
Gemini 2.0 Flash: Прошло 🟢
Gemini 2.0 pro: Прошло 🟢

Вы тестировали на последней версии?

Тема		Ответов	Просм.
Custom ai tool fails Bug ai , fixed , ai-bot	2	100	17.07.2024
Unrecognized request argument supplied: tools Support ai-bot , ai	6	666	07.02.2024
AI Chat errors Support ai	4	131	19.02.2026
How to properly debug AI Personas? Support ai-bot , ai	4	173	19.03.2025
AI Persona using Categories tool- "An empty string is not a valid JSON string" Bug ai-bot , ai	3	97	22.02.2025

Ошибка в любом AI-инструменте без параметров, например "tags"

Связанные темы