Unterstützt Discourse AI Drittanbieter-Relay-/Proxy-APIs (z. B. NewAPI)? Erhalte „Internal Server Error“

Unterstützung
1

Hallo zusammen,

Ich habe eine Frage zu Discourse AI und ob es Drittanbieter-Relay-/Proxy-APIs unterstützt.

Ich habe versucht, eine Relay-API von NewAPI (einem OpenAI-kompatiblen Proxy eines Drittanbieters) zu verwenden, aber Discourse AI gibt einen „Internen Serverfehler“ zurück. Ich bin mir nicht sicher, ob dies ein Konfigurationsproblem meinerseits oder eine Einschränkung von Discourse AI ist.

Daher frage ich mich:

  1. Unterstützt Discourse AI derzeit OpenAI-kompatible Drittanbieter-/Relay-/Proxy-APIs?

  2. Oder unterstützt es derzeit nur die offiziellen OpenAI- und Google-APIs?

  3. Falls Drittanbieter-APIs unterstützt werden, ist eine spezielle Einrichtung erforderlich (Header, Basis-URL-Format, Modellbenennung usw.)?

Die Verwendung meiner eigenen offiziellen API-Schlüssel wird teuer, daher hoffe ich, wenn möglich, eine günstigere Relay-Option nutzen zu können.
Außerdem würde ich gerne Google BananaPro zur Bilderzeugung anschließen, nur zum Spaß – ich weiß auch nicht, ob das unterstützt wird.

Jeder Hinweis oder jede Dokumentation wäre willkommen. Danke!

2

Wir haben Kunden, die täglich Tausende von KI-Aufrufen über OpenAI-kompatible Proxys durchführen, daher wissen wir, dass es funktioniert. Das Hauptproblem ist, wie kompatibel sie wirklich sind, wenn sie von „OpenAI-kompatibel“ sprechen.

vLLM, Google, Ollama, LMStudio bieten alle OpenAI-kompatible APIs, die wir täglich testen und verwenden.

Wenn ein bestimmter Anbieter fehlschlägt, lässt sich dies normalerweise leicht anhand der Protokolle auf der Seite /logs feststellen. Können Sie den Fehler von dort teilen?

1 „Gefällt mir“
3

Vielen Dank für Ihre Antwort. Ich werde morgen ein paar verschiedene APIs von Drittanbietern testen.

4

Discourse AI unterstützt fast alle Drittanbieter-APIs, die ich kenne, wie OpenRouter, NewAPI

Konfigurieren Sie einfach die LLM-Einstellungen
image

Geben Sie Ihre API-Basis-URL, Ihren API-Schlüssel und den Modellnamen ein
image

1 „Gefällt mir“
5

Danke für die Antwort, mein Freund.

image

Aber diese Antwort ist sehr seltsam.

Discourse muss einen System-Prompt ausfüllen. Ich möchte keinen System-Prompt ausfüllen, sondern nur einen eingeben.

Das Modell soll einfach direkt auf die Frage des Benutzers antworten, der mit @ erwähnt wurde.

Ich habe noch nicht herausgefunden, wie man das konfiguriert.

Wenn ich @Bot erwähne, weiß ich nicht, warum standardmäßig der Prompt für den benutzerdefinierten Prompt verwendet wird (da das Antwortformat, das ich gefunden habe, nur mit diesem benutzerdefinierten Prompt übereinstimmt). Siehe Abbildung unten: Selbst nach der Änderung funktioniert es nicht, ich weiß nicht, warum.

image