Opções para usar um provedor de IA alternativo?

@Falco @sam existem opções se quisermos usar nosso próprio provedor de IA fora do que está disponível nas configurações? por exemplo, se estivermos hospedando o nosso próprio, se estivermos usando um serviço como mendable.ai, etc.

Oferecemos suporte às APIs vLLM e TGI para inferência de LLM, além de qualquer API que imite a OpenAI, que deve funcionar definindo o ai openai gpt4 url apontando para ela.

2 curtidas

Parece que não é exatamente 1:1 para a OpenAI, mas está muito próximo:

Ao ler a API, especialmente porque precisamos chamar newConversation e armazenar o estado, haveria alguns dias de trabalho na implementação de um dialecto/endpoint de API para o Discourse AI.

Totalmente factível pelo que pude ver, mas é um trabalho personalizado. Podemos fazer isso se você desejar patrocinar.

Pessoalmente, não tenho certeza se esses animais personalizados vencerão a longo prazo contra modelos de fronteira, infelizmente para o Mendable, eles podem estar a apenas um lançamento do GPT-5 de se tornarem obsoletos.

Até mesmo coisas como GPT-4 / Claude Opus hoje, quando cuidadosamente aprimoradas, provavelmente poderiam superar isso.

@Roman está trabalhando para permitir que você injete contexto externo adicional via arquivos em uma persona.

Já podemos fazer coisas bastante incríveis com uma persona personalizada hoje, você poderia facilmente adaptar o helper do GitHub para ser específico do SailPoint, por exemplo:

3 curtidas