Discourse AI: Parallele Tool-Aufrufe werden bei Mistral (Streaming) stillschweigend verworfen

Vielen Dank an @sam für den schnellen Fix und an @zogstrip für die schnelle Antwort

Alles funktioniert wie erwartet :+1: und das Ergebnis ist großartig: Da der Agent jetzt mehrere Leseanfragen in einer einzigen Antwort stellen kann, verwendet mein RAG-Test-Szenario 43 % weniger LLM-Aufrufe, verbringt 40 % weniger Zeit mit Suchen und Lesen und kostet 33 % weniger.

Ich habe es auf 2026.10.0-latest (f18a1985b, enthält #44270) mit Mistral mistral-large-2512 verifiziert (nachdem ich meinen parallel_tool_calls: false-Workaround entfernt hatte):

  • Die netzwerkunabhängige Reproduktion aus meinem ersten Beitrag gibt jetzt jeden Aufruf zurück: 2 von 2 und 3 von 3 in einem Chunk, auch mit partial_tool_calls und über Endpoints::Mistral#decode_chunk. Ein Aufruf pro Chunk funktioniert weiterhin. (Das Skript benötigt jetzt ein .flatten, da process_streamed_message ein Array zurückgeben kann.)
  • Mit einem echten RAG-Agenten und ohne Workaround hat Mistral 4 parallele Leseanfragen in einem einzigen Chunk gesendet, und alle 4 wurden ausgeführt. Über 14 Agentenläufe hinweg wurde jeder angeforderte Tool-Aufruf ausgeführt.

Nochmals vielen Dank!

2 „Gefällt mir“