¿Opciones para usar un proveedor de IA alternativo?

@Falco @sam ¿hay alguna opción si queremos usar nuestro propio proveedor de IA fuera de los disponibles en la configuración? por ejemplo, si estamos alojando el nuestro, si estamos usando un servicio como mendable.ai, etc.

Admitimos las API de vLLM y TGI para la inferencia de LLM, además de cualquier API que imite a OpenAI debería funcionar configurando la ai openai gpt4 url apuntando a ella.

2 Me gusta

Parece que no es exactamente 1:1 para OpenAI, pero está muy cerca:

Al revisar la API, especialmente dado que necesitamos llamar a newConversation y almacenar el estado, habría unos días de trabajo en la implementación de un dialecto/endpoint de API para Discourse AI.

Totalmente factible por lo que puedo ver, pero es un trabajo personalizado. Podemos hacerlo si desean patrocinarlo.

Personalmente, no estoy seguro de que estos animales personalizados ganen a largo plazo sobre los modelos de frontera, lamentablemente para MENDABLE, podrían estar a solo una versión de GPT-5 de volverse bastante obsoletos.

Incluso cosas como GPT-4 / Claude Opus hoy en día, cuando se perfeccionan cuidadosamente, probablemente podrían superar esto.

@Roman está trabajando en permitirle inyectar contexto externo adicional a través de archivos en una persona.

Ya podemos hacer cosas bastante asombrosas con una persona personalizada hoy en día, por ejemplo, podría adaptar fácilmente el ayudante de GitHub para que sea específico de SailPoint:

3 Me gusta