Notre point de terminaison de test est un peu trompeur et c’est quelque chose que j’aimerais corriger.
Nous ne testons actuellement que les points de terminaison « non en streaming ». Le « streaming » n’est pas testé.
Est-ce que tout fonctionne si vous désactivez le streaming sur votre LLM, peut-être qu’il n’est pas implémenté par votre proxy.