[cita=“Wurzelseppi, post:1, topic:367880”]
El acceso a la IA es a través de un punto final interno con autenticación adicional.
[/cita]
Nuestro punto final de prueba es un poco engañoso y esto es algo que me gustaría solucionar.
Actualmente solo probamos puntos finales “no streaming”. No se prueba el “streaming”.
¿Funciona todo si deshabilitas el streaming en tu LLM (modelo de lenguaje grande), tal vez no esté implementado por tu proxy?