Können Sie Moonshot AI Kimi K2 über deren API-Endpunkte für China ausprobieren?
Es sieht so aus, als wäre die Basis-API-URL https://api.moonshot.cn/v1.
Wir haben die Anforderung nach strukturierten Ausgaben eingeführt, weil ich Tausende von Beschwerden über Probleme ertragen musste, wie z. B. dass Modelle „Hier ist Ihre Zusammenfassung“ hinzufügten oder beim Abrufen einer Liste von vorgeschlagenen Titeln für KI-Helfer Fehler beim Parsen auftraten. Jetzt ist es mit der Übersetzung zu einem noch schlimmeren Problem geworden, wenn man Millionen von LLM-Aufrufen vertrauen können muss, dass sie nichts Zusätzliches zu Ihrer Ausgabe hinzufügen.
Angesichts des Bedarfs an Zuverlässigkeit und der allgemeinen Verfügbarkeit strukturierter Ausgaben haben wir diese Entscheidung für Anbieter getroffen, bei denen dies unterstützt wird, aber ich wäre offen für einen PR, der eine Checkbox zum Deaktivieren von strukturierten Ausgaben aus der API-Anfrage beim OpenAI-Anbieter hinzufügt.