Discourse AI supporta API di relay/proxy di terze parti (es. NewAPI)? Ricevo "Internal Server Error"

Supporto
1

Ciao a tutti,

Ho una domanda su Discourse AI e se supporta API di relay/proxy di terze parti.

Ho provato a usare un’API di relay da NewAPI (un proxy di terze parti compatibile con OpenAI), ma Discourse AI restituisce un “Errore interno del server”. Non sono sicuro se si tratti di un problema di configurazione da parte mia o di una limitazione di Discourse AI.

Quindi mi chiedo:

  1. Discourse AI supporta attualmente API di terze parti / relay / proxy compatibili con OpenAI?

  2. O supporta solo le API ufficiali di OpenAI e Google al momento?

  3. Se le API di terze parti sono supportate, è necessaria una configurazione speciale (header, formato dell’URL di base, denominazione del modello, ecc.)?

Usare le mie chiavi API ufficiali diventa costoso, quindi spero di poter utilizzare un’opzione di relay più economica, se possibile.
Inoltre, mi piacerebbe collegare Google BananaPro per la generazione di immagini solo per divertimento, non sono sicuro che sia supportato.

Qualsiasi suggerimento o documentazione sarebbe apprezzato. Grazie!

2

Abbiamo clienti che effettuano migliaia di chiamate AI giornalmente tramite proxy compatibili con OpenAI, quindi sappiamo che funziona. Il problema principale è quanto siano realmente compatibili quando dicono “compatibile con OpenAI”.

vLLM, Google, Ollama, LMStudio forniscono tutti API compatibili con OpenAI che testiamo e utilizziamo quotidianamente.

Se uno specifico provider non funziona, di solito è facile scoprire il motivo tramite i log nella pagina /logs. Puoi condividere l’errore da lì?

1 Mi Piace
3

Grazie per la tua risposta. Domani testerò alcune API di terze parti diverse

4

discourse ai supporta quasi tutte le API di terze parti che conosco, come openrouter, newapi

basta configurare le impostazioni llm
image

inserisci l’URL di base dell’API, la chiave API e il nome del modello
image

1 Mi Piace
5

Grazie per la risposta, fratello.

image

Ma questa risposta è strana.

Discourse richiede di inserire un prompt di sistema. Non voglio inserire un prompt di sistema, ho inserito solo un punto.

Vorrei solo che il modello rispondesse direttamente alla domanda dell’utente che ha menzionato (@), senza prompt.

Non ho ancora capito come configurarlo.

Quando si menziona (@) il bot, per qualche motivo viene utilizzato il prompt delle istruzioni personalizzate (perché il formato della sua risposta corrisponde solo a questo prompt personalizzato) come mostrato nell’immagine seguente: ho provato a cambiarlo ma non funziona ancora, non so perché.

image