¿Crear un plugin personalizado de LLM u otra opción?

Soporte
1

Hola a todos,

Estamos alojando un foro de Discourse dentro de nuestra red corporativa. No podemos integrar ChatGPT ni ningún otro LLM público, pero hay una gran iniciativa en nuestra empresa que está creando un servicio interno para módulos de IA (incluido GPT).
Tienen su propia API, por lo que quería preguntar si sería posible escribir un plugin LLM personalizado.
¿O qué otras opciones tenemos?

Las llamadas a esta API interna deben autenticarse, y la API en sí necesita otra clave de API, por lo que hay varias informaciones obligatorias que deben proporcionarse por adelantado.

Cualquier ayuda sería muy apreciada.

Gracias y saludos,

WS

1 me gusta
2

Puedes usar modelos y/o endpoints personalizados con el plugin actual.

Luego, si necesitas añadir más funcionalidad, también puedes hacer un fork y mantener tu propio plugin.

3 Me gusta
3

Sí, pero ¿has instalado el plugin de IA para ver qué soporta ya?

2 Me gusta
4

Mientras tus puntos finales internos utilicen interfaces de API de tipo OpenAI, puedes usar Discourse AI tal cual y simplemente definir un LLM personalizado.

2 Me gusta
5

Lo intentaré. Sin embargo, una gran preocupación que tengo es el tema de la autenticación.
No es solo la clave de API, sino también basada en OIDC (cosas de la política corporativa :slight_smile: )…

Lo que significa que necesitaría personalizar de alguna manera la forma en que el tablero realiza solicitudes a esta API. ¿Es posible sin hacer un fork y hacerlo yo mismo?

Gracias a todos, son geniales una y otra vez :+1: