새로운 Mistral 모델(mistral-small과 mistral-medium)을 API를 통해 사용해 보고 있는데, 결과에 만족하고 있습니다. Mistral-small(Mixtral 8x7B MOE)은 GPT-3.5보다 뛰어난 성능을 보이며, 일부 사용 사례에서 GPT-4의 대안으로 충분히 고려해 볼 만합니다(아직 GPT-4만큼의 역량은 아니지만). 가장 중요한 점은 GPT-4보다 훨씬 저렴하다는 것입니다. Discourse AI 플러그인에 Mistral API 지원이 추가되기를 희망합니다.
Mistral API URL과 토큰을 OpenAI GPT-4 Turbo 필드에 입력해 보았지만, 당연히 잘못된 모델을 요청했기 때문에 작동하지 않았습니다. OpenAI, Anthropic, Mistral의 API 문서를 살펴보니 모두 동일한 포맷을 사용하고 있습니다. 이는 의도된 것 같습니다. 새로운 벤더들이 OpenAI와 호환되도록 정렬하여 드롭-인 대체재로 사용될 수 있도록 하기 위함입니다.
따라서 이 기능 요청의 두 번째 부분은 AI 설정을 OpenAI와 유사한 인터페이스를 채택하는 어떤 벤더든 수용할 수 있도록 더 범용적으로 리팩토링하는 것을 고려하는 것입니다. 설정에서 단순히 4가지만 제공하면 됩니다: 채팅 엔드포인트, 모델 목록 엔드포인트, 임베딩 엔드포인트, 그리고 API 키. 그러면 Discourse가 /models 엔드포인트를 쿼리하여 모델 이름을 가져오고, 또는 사용자가 모델 이름을 수동으로 입력할 수 있게 하면 됩니다.