Fehler in jedem KI-Tool ohne Parameter, z.B. "tags"

sam · 24. Februar 2025 um 05:37

Ich habe eine Evaluierung für Tools ohne Parameter:

tool_calls/no_params_native.yml

34e238de9


      
          id: no_params_tool
          name: no_params_tool
          description: Eval to confirm that tool calls with no params work
          type: prompt
          args:
            stream: true
            system_prompt: "You are a helpful bot"
            message: "Look up the categories please"
            tools:
              -
                name: "categories"
                description: "Look up the categories"
          expected_tool_call:
            name: categories
            params: { }

Und sie besteht mit:

sam@arch evals % ./run -e no_params_tool
Running evaluation 'no_params_tool'
GPT-4o: Passed 🟢
GPT-4o-mini: Passed 🟢
Claude 3.5 Haiku: Passed 🟢
Claude 3.5 Sonnet: Passed 🟢
Gemini 2.0 Flash: Passed 🟢
Gemini 2.0 pro: Passed 🟢

Hast du die neueste Version getestet?

Thema		Antworten	Aufrufe
Custom ai tool fails Bug ai , ai-bot , fixed	2	84	17. Juli 2024
Unrecognized request argument supplied: tools Support ai , ai-bot	6	616	7. Februar 2024
How to properly debug AI Personas? Support ai , ai-bot	4	116	19. März 2025
AI Persona using Categories tool- "An empty string is not a valid JSON string" Bug ai , ai-bot	3	63	22. Februar 2025
Can we view all tools and their setups in AI Support ai	2	79	26. April 2025

Fehler in jedem KI-Tool ohne Parameter, z.B. "tags"

Verwandte Themen