[Zitat=“Wurzelseppi, Beitrag:1, Thema:367880”]
Der KI-Zugriff erfolgt über einen internen Endpunkt mit zusätzlicher Authentifizierung.
[/Zitat]
Unser Test-Endpunkt ist etwas irreführend, und das möchte ich gerne beheben.
Wir testen derzeit nur “Nicht-Streaming”-Endpunkte. “Streaming” wird nicht getestet.
Funktioniert alles, wenn Sie Streaming in Ihrem LLM deaktivieren? Vielleicht ist es nicht von Ihrem Proxy implementiert.