[citazione=“Wurzelseppi, post:1, topic:367880”]
L’accesso all’AI avviene tramite un endpoint interno con autenticazione aggiuntiva.
[/citazione]
Il nostro endpoint di test è un po’ fuorviante e vorrei sistemare questa cosa.
Attualmente testiamo solo endpoint “non streaming”. Lo “streaming” non è testato.
Funziona tutto se disabiliti lo streaming sul tuo LLM? Forse non è implementato dal tuo proxy.