Creare un plugin LLM personalizzato o altre opzioni?

Supporto
1

Ciao a tutti,

stiamo ospitando una bacheca di discourse all’interno della nostra rete aziendale. Non possiamo integrare ChatGPT o altri LLM pubblici, ma c’è una grande iniziativa nella nostra azienda che crea un servizio interno per moduli AI (incluso GPT).
Hanno una loro API, tuttavia, e volevo chiedere se fosse possibile scrivere un plugin LLM personalizzato?
O quali altre opzioni abbiamo?

Le chiamate a questa API interna devono essere autenticate e l’API stessa necessita di un’altra chiave API, quindi ci sono diverse informazioni obbligatorie che devono essere fornite in anticipo.

Qualsiasi aiuto sarebbe molto apprezzato.

Grazie e saluti,

WS

1 Mi Piace
2

È possibile utilizzare modelli e/o endpoint personalizzati con il plugin corrente.

Quindi, se è necessario aggiungere ulteriori funzionalità, è anche possibile effettuare il fork e mantenere il proprio plugin.

3 Mi Piace
3

Sì, ma hai installato il plugin AI per vedere cosa supporta già?

2 Mi Piace
4

Finché i tuoi endpoint interni utilizzano interfacce API di tipo OpenAI, puoi usare Discourse AI così com’è e definire semplicemente un LLM personalizzato.

2 Mi Piace
5

Ci proverò. Una grande preoccupazione che ho, tuttavia, è la questione dell’autenticazione.
Non si tratta solo della chiave API, ma anche di OIDC (roba da policy aziendali :slight_smile: )…

Ciò significa che dovrei in qualche modo personalizzare il modo in cui la bacheca effettua richieste a questa API. È possibile senza fare un fork e farlo da solo?

Grazie a tutti, siete fantastici ogni volta :+1: