Наш тестовый эндпоинт вводит в заблуждение, и я хотел бы это исправить.
В настоящее время мы тестируем только «непоточные» (non-streaming) эндпоинты. Потоковая передача (streaming) не тестируется.
Работает ли всё, если вы отключите потоковую передачу в вашей LLM? Возможно, это не реализовано в вашем прокси.