Criar plugin personalizado de LLM ou outra opção?

Suporte
1

Olá a todos,

Estamos hospedando um fórum de discussão em nossa rede corporativa. Não podemos integrar o ChatGPT ou qualquer outro LLM público, mas há uma grande iniciativa em nossa empresa que está criando um serviço interno para módulos de IA (incluindo GPT).
Eles têm sua própria API, no entanto, e eu queria perguntar se seria possível escrever um plugin LLM personalizado?
Ou que outra opção temos?

As chamadas para esta API interna precisam ser autenticadas, e a própria API precisa de outra chave de API, portanto, há várias informações obrigatórias que devem ser fornecidas antecipadamente.

Qualquer ajuda seria muito apreciada.

Obrigado e saudações,

WS

1 curtida
2

Você pode usar modelos e/ou endpoints personalizados com o plugin atual.

Em seguida, se precisar adicionar mais funcionalidades, você também pode fazer um fork e manter seu próprio plugin.

3 curtidas
3

Sim, mas você já instalou o plugin de IA para ver o que ele já suporta?

2 curtidas
4

Desde que seus endpoints internos usem interfaces de API do tipo OpenAI, você pode usar o Discourse AI como está e apenas definir um LLM personalizado.

2 curtidas
5

Vou experimentar. Uma grande preocupação que tenho, no entanto, é a questão da autenticação.
Não é apenas a chave de API, mas também baseada em OIDC (coisas de política corporativa :slight_smile: )…

Significa que eu precisaria de alguma forma personalizar a maneira como o quadro faz requisições contra esta API. É possível sem fazer um fork e fazer eu mesmo?

Obrigado pessoal, vocês são incríveis sempre :+1: