Pouvez-vous essayer Moonshot AI Kimi K2 via leurs points de terminaison API pour la Chine ?
Il semble que l’URL de base de l’API soit https://api.moonshot.cn/v1.
Nous avons mis en place l’exigence de sorties structurées parce que j’avais enduré des milliers de plaintes concernant des problèmes tels que les modèles ajoutant « Voici votre résumé » ou des échecs d’analyse lors de l’obtention d’une liste de titres suggérés pour l’assistant IA, etc. Maintenant, avec la traduction, cela est devenu un problème encore pire lorsque vous devez être en mesure de faire confiance à des millions d’invocations LLM pour ne rien ajouter d’autre à votre sortie.
Compte tenu du besoin de fiabilité et de la disponibilité générale des sorties structurées, nous avons pris cette décision pour les fournisseurs où cela est pris en charge, mais je serais ouvert à une PR qui ajoute une case à cocher pour désactiver les sorties structurées de la requête API sur le fournisseur OpenAI.