Creo que la API de discourse-ai necesita una regresión

¿Puedes probar Moonshot AI Kimi K2 a través de sus puntos finales de API para China?

Parece que la URL base de la API es https://api.moonshot.cn/v1.

Implementamos el requisito de salidas estructuradas porque había soportado miles de quejas sobre problemas como que los modelos añadieran “Aquí tienes tu resumen” o fallos al analizar al obtener una lista de títulos sugeridos para el asistente de IA, etc. Ahora, con la traducción, se convirtió en un problema aún peor cuando tienes que poder confiar en millones de invocaciones de LLM para que no añadan nada extra a tu salida.

Dada la necesidad de fiabilidad y la disponibilidad general de salidas estructuradas, tomamos esta decisión sobre los proveedores donde es compatible, pero estaría abierto a una PR que añada una casilla de verificación para deshabilitar las Salidas Estructuradas de la solicitud de API en el proveedor de OpenAI.

1 me gusta