Suporte para API Mistral

Funcionalidade
1

Tenho brincado com os novos modelos Mistral (mistral-small e mistral-medium) através da API deles e gosto do que estou vendo. O Mistral-small (que é Mixtral 8x7B MOE) parece superar o GPT3.5 e pode ser uma alternativa viável (mesmo que não tão capaz) ao GPT4 para alguns casos de uso. Mais importante, é significativamente mais barato que o GPT4. Gostaria de ver suporte para a API Mistral no plugin Discourse AI.

Tentei inserir a URL da API Mistral e o token nos campos do OpenAI GPT4 turbo, mas, como esperado, não funcionou porque estava solicitando o modelo errado. Olhando a documentação da API para OpenAI, Anthropic e Mistral, todos usam o mesmo formato. Imagino que isso seja intencional - novos fornecedores se alinhando ao OpenAI para que possam ser usados como substitutos diretos.

Então, a parte 2 desta solicitação de recurso é considerar a refatoração das configurações de IA para serem mais genéricas, a fim de acomodar qualquer fornecedor que adote uma interface semelhante à do OpenAI. Nas configurações, basta fornecer 4 coisas: o endpoint de chat, o endpoint da lista de modelos, o endpoint de embeddings e a chave da API. O Discourse então consulta o endpoint /models para buscar os nomes, e/ou você pode digitar os nomes dos modelos manualmente.

2

@Falco acabou de implementar o Mixtral hoje via vLLM.

@Roman está trabalhando na refatoração da nossa implementação interna para que o bot possa se apoiar em nossa nova interface “LLM genérica”.

Concordo em repensar todas as configurações de IA quando se trata de LLMs, os padrões que precisamos vão além do que você pode fazer nas configurações do site.

Uma nova interface listando todos os LLMs aos quais você tem acesso, explicando endpoints / parâmetros / cotas e muito mais é algo que realmente precisamos começar a pensar. A maneira atual é um pouco limitada e, dado que existem infinitos modelos por aí, precisamos de um novo paradigma aqui.

3 curtidas