Opzioni per un provider AI alternativo?

@Falco @sam ci sono opzioni se vogliamo usare il nostro provider AI al di fuori di quelli disponibili nelle impostazioni? ad es. se stiamo ospitando il nostro, se stiamo usando un servizio come mendable.ai, ecc.

Supportiamo sia le API vLLM che TGI per l’inferenza LLM, inoltre qualsiasi API che imiti OpenAI dovrebbe funzionare impostando ai openai gpt4 url puntando ad essa.

2 Mi Piace

Sembra che non sia esattamente 1:1 per OpenAI, ma ci si avvicina molto:

Leggendo l’API, specialmente dato che dobbiamo chiamare newConversation e memorizzare lo stato, ci vorrebbero alcuni giorni di lavoro per implementare un endpoint dialect/API per discourse AI.

Totalmente fattibile da quello che posso dire, ma è un lavoro personalizzato. Possiamo farlo se desiderate sponsorizzare.

Personalmente non sono sicuro che questi animali personalizzati vinceranno a lungo termine sui modelli frontier, purtroppo per mendable potrebbero essere a solo una release di GPT-5 di distanza dall’essere piuttosto obsoleti.

Anche cose come GPT-4 / Claude Opus oggi, se affinate con cura, potrebbero probabilmente superare questo.

@Roman sta lavorando per permetterti di iniettare contesto esterno aggiuntivo tramite file in una persona.

Possiamo già fare cose piuttosto sorprendenti con una persona personalizzata oggi, potresti facilmente adattare l’helper di GitHub per essere specifico per SailPoint, ad esempio:

3 Mi Piace