He estado jugando con los nuevos modelos de Mistral (mistral-small y mistral-medium) a través de su API y me gusta lo que veo. Mistral-small (que es Mixtral 8x7B MOE), parece superar a GPT3.5 y podría ser una alternativa viable (aunque no tan capaz) a GPT4 para algunos casos de uso. Lo más importante es que es significativamente más barato que GPT4. Me encantaría ver soporte para la API de Mistral en el plugin Discourse AI.
Intenté colocar la URL y el token de la API de Mistral en los campos de openAI GPT4 turbo, pero, como era de esperar, no funcionó porque solicitaba el modelo incorrecto. Al mirar la documentación de la API para openAI, Anthropic y Mistral, todos usan el mismo formato. Me imagino que esto es a propósito: nuevos proveedores alineándose con openAI para que puedan usarse como reemplazos directos.
Así que la segunda parte de esta solicitud de características es considerar refactorizar la configuración de IA para que sea más genérica y acomode a cualquier proveedor que adopte una interfaz similar a la de openAI. En la configuración, simplemente proporcione 4 cosas: el punto final del chat, el punto final de la lista de modelos, el punto final de incrustaciones y la clave API. Discourse luego consulta el punto final /models para obtener los nombres, y/o puede escribir los nombres de los modelos manualmente.