Попробуйте Moonshot AI Kimi K2 через их API-эндпоинты для Китая?
Похоже, базовый URL API — https://api.moonshot.cn/v1.
Мы внедрили требование структурированного вывода, потому что я столкнулся с тысячами жалоб на такие проблемы, как добавление моделями фраз вроде «Вот ваше резюме» или сбои при парсинге при получении списка предложенных заголовков для ИИ-помощника и т. д. Теперь, с переводом, это стало ещё более серьёзной проблемой, когда нужно быть уверенным, что миллионы вызовов LLM не добавят ничего лишнего в ваш вывод.
Учитывая необходимость надёжности и общую доступность структурированного вывода, мы приняли это решение для провайдеров, где это поддерживается, но я открыт к PR, который добавит флажок для отключения структурированного вывода в запросе API для провайдера OpenAI.