중국을 위한 API 엔드포인트를 통해 Moonshot AI Kimi K2를 시도해 볼 수 있을까요?
기본 API URL이 https://api.moonshot.cn/v1인 것 같습니다.
저는 "다음은 요약입니다"와 같은 문구를 모델이 추가하거나, AI 어시스턴트의 제안된 제목 목록을 가져올 때 파싱이 실패하는 등의 문제에 대한 수천 건의 불만을 겪었기 때문에 구조화된 출력 요구 사항을 도입했습니다. 이제 번역이 추가되면서, 수백만 번의 LLM 호출에서 모델이 출력에 아무것도 추가하지 않도록 신뢰할 수 있어야 하는 상황이 되면서 이 문제는 더욱 악화되었습니다.
신뢰성의 필요성과 구조화된 출력의 일반적인 가용성을 고려하여, 해당 기능이 지원되는 제공업체에 대해 이 결정을 내렸습니다. 하지만 OpenAI 제공업체의 API 요청에서 구조화된 출력을 비활성화하는 체크박스를 추가하는 PR에는 개방적인 자세를 취하겠습니다.