Support pour l'API Mistral

Fonctionnalité
1

Je joue avec les nouveaux modèles Mistral (mistral-small et mistral-medium) via leur API et j’aime ce que je vois. Mistral-small (qui est Mixtral 8x7B MOE), semble surpasser GPT3.5 et pourrait être une alternative viable (même si pas tout à fait aussi performant) à GPT4 pour certains cas d’utilisation. Plus important encore, il est nettement moins cher que GPT4. J’aimerais beaucoup voir le support de l’API Mistral dans le plugin Discourse AI.

J’ai essayé de déposer l’URL de l’API Mistral et le token dans les champs openAI GPT4 turbo, mais sans surprise, cela n’a pas fonctionné car il demandait le mauvais modèle. En regardant la documentation de l’API pour openAI, Anthropic et Mistral, ils utilisent tous le même format. J’imagine que c’est intentionnel - les nouveaux fournisseurs s’alignant sur openAI afin qu’ils puissent être utilisés comme remplacements directs.

La deuxième partie de cette demande de fonctionnalité consiste donc à envisager de refactoriser les paramètres d’IA pour qu’ils soient plus génériques afin d’accueillir tout fournisseur qui adopte une interface de type openAI. Dans les paramètres, fournissez simplement 4 choses : le point de terminaison du chat, le point de terminaison de la liste des modèles, le point de terminaison des embeddings et la clé API. Discourse interroge ensuite le point de terminaison /models pour récupérer les noms, et/ou vous pouvez saisir manuellement les noms des modèles.

2

@Falco vient de déployer Mixtral aujourd’hui via vLLM.

@Roman travaille à la refonte de notre implémentation interne afin que le bot puisse s’appuyer sur notre nouvelle interface « LLM générique ».

Je suis d’accord pour repenser tous les paramètres d’IA en ce qui concerne les LLM, les modèles dont nous avons besoin dépassent ce que vous pouvez faire dans les paramètres du site.

Une nouvelle interface listant tous les LLM auxquels vous avez accès, expliquant les points de terminaison / les paramètres / les quotas et plus encore, est quelque chose que nous devons vraiment commencer à envisager. La méthode actuelle est un peu trop limitée et étant donné qu’il existe une infinité de modèles, nous avons besoin d’un nouveau paradigme ici.

3 « J'aime »