Ich habe mit den neuen Mistral-Modellen (mistral-small und mistral-medium) über ihre API experimentiert und bin von dem, was ich sehe, angetan. Mistral-small (das Mixtral 8x7B MOE ist) scheint GPT3.5 zu übertreffen und könnte für einige Anwendungsfälle eine praktikable Alternative (wenn auch nicht ganz so leistungsfähig) zu GPT4 sein. Am wichtigsten ist, dass es deutlich günstiger ist als GPT4. Ich würde mich freuen, Unterstützung für die Mistral API im Discourse AI Plugin zu sehen.
Ich habe versucht, die Mistral API URL und das Token in die OpenAI GPT4 Turbo Felder einzutragen, aber erwartungsgemäß hat das nicht funktioniert, da das falsche Modell angefordert wurde. Wenn man sich die API-Dokumentation für OpenAI, Anthropic und Mistral ansieht, verwenden alle das gleiche Format. Ich stelle mir vor, dass dies beabsichtigt ist – neue Anbieter richten sich nach OpenAI aus, damit sie als Drop-in-Ersatz verwendet werden können.
Daher ist Teil 2 dieser Funktionsanfrage, die KI-Einstellungen zu überarbeiten, um sie allgemeiner zu gestalten und jeden Anbieter unterzubringen, der eine OpenAI-ähnliche Schnittstelle verwendet. In den Einstellungen sollten einfach 4 Dinge angegeben werden: der Chat-Endpunkt, der Model-Listen-Endpunkt, der Embeddings-Endpunkt und der API-Schlüssel. Discourse fragt dann den /models-Endpunkt ab, um die Namen abzurufen, und/oder man kann Modellnamen manuell eingeben.