Sto giocando con i nuovi modelli Mistral (mistral-small e mistral-medium) tramite la loro API e mi piace quello che vedo. Mistral-small (che è Mixtral 8x7B MOE), sembra superare GPT3.5 e potrebbe essere un’alternativa valida (anche se non ancora capace come) GPT4 per alcuni casi d’uso. Soprattutto, è significativamente più economico di GPT4. Mi piacerebbe vedere il supporto per l’API Mistral nel plugin Discourse AI.
Ho provato a inserire l’URL dell’API Mistral e il token nei campi openAI GPT4 turbo, ma non sorprendentemente non ha funzionato perché richiedeva il modello sbagliato. Guardando la documentazione API per openAI, Anthropic e Mistral, usano tutti lo stesso formato. Immagino che sia intenzionale: nuovi fornitori si allineano a openAI in modo da poter essere utilizzati come sostituti diretti.
Quindi la parte 2 di questa richiesta di funzionalità è considerare di rifattorizzare le impostazioni AI per renderle più generiche per accogliere qualsiasi fornitore che adotti un’interfaccia simile a openAI. Nelle impostazioni, fornisci semplicemente 4 cose: l’endpoint della chat, l’endpoint dell’elenco dei modelli, l’endpoint degli embedding e la chiave API. Discourse quindi interroga l’endpoint /models per recuperare i nomi, e/o puoi digitare manualmente i nomi dei modelli.