O Discourse AI suporta APIs de relay/proxy de terceiros (ex: NewAPI)? Recebendo “Internal Server Error”

Suporte
1

Olá a todos,

Tenho uma dúvida sobre o Discourse AI e se ele suporta APIs de retransmissão/proxy de terceiros.

Tentei usar uma API de retransmissão da NewAPI (um proxy de terceiros compatível com OpenAI), mas o Discourse AI retorna um “Internal Server Error” (Erro Interno do Servidor). Não tenho certeza se isso é um problema de configuração da minha parte ou uma limitação do Discourse AI.

Então, estou me perguntando:

  1. O Discourse AI atualmente suporta APIs de retransmissão/proxy de terceiros compatíveis com OpenAI?

  2. Ou ele suporta apenas as APIs oficiais da OpenAI e do Google no momento?

  3. Se as APIs de terceiros forem suportadas, há alguma configuração especial necessária (cabeçalhos, formato da URL base, nomenclatura do modelo, etc.)?

Usar minhas próprias chaves de API oficiais está ficando caro, então espero poder usar uma opção de retransmissão mais barata, se possível.
Além disso, gostaria de conectar o Google BananaPro para geração de imagens só por diversão — não sei se isso também é suportado.

Qualquer dica ou documentação seria apreciada. Obrigado!

2

Temos clientes fazendo milhares de chamadas de IA diariamente através de proxies compatíveis com a OpenAI, então sabemos que funciona. A principal questão é o quão compatíveis eles realmente são quando dizem “compatível com a OpenAI”.

vLLM, Google, Ollama, LMStudio fornecem APIs compatíveis com a OpenAI que testamos e usamos diariamente.

Se um provedor específico estiver falhando, geralmente é fácil descobrir o motivo através dos logs na página /logs. Você pode compartilhar o erro de lá?

1 curtida
3

Obrigado pela sua resposta. Vou testar algumas APIs de terceiros diferentes amanhã

4

O suporte de IA do Discourse para quase todas as APIs de terceiros que conheço, como OpenRouter, NewAPI

Basta configurar as opções de LLM
image

Insira sua URL base da API, chave de API e nome do modelo
image

1 curtida
5

Obrigado pela sua resposta, meu caro.

image

Mas esta resposta está muito estranha.

O Discourse exige que eu preencha o prompt do sistema, mas eu não quero preencher o prompt do sistema, apenas inseri um.

É apenas para responder diretamente à pergunta do usuário (@), o modelo deve responder diretamente.

Ainda não descobri como configurar.

Quando eu @ o robô, por algum motivo, o prompt padrão é o prompt de “Prompt Personalizado” (porque o formato da resposta que encontrei corresponde apenas a este prompt de “Prompt Personalizado”), como mostrado na imagem abaixo: Mudei, mas ainda não funciona, não sei o que está acontecendo.

image