Eigene LLM-Plugin erstellen oder eine andere Option wählen?

Unterstützung
1

Hallo zusammen,

wir veranstalten ein Discourse-Board in unserem Unternehmensnetzwerk. Wir können ChatGPT oder ein anderes öffentliches LLM nicht integrieren, aber es gibt eine große Initiative in unserem Unternehmen, die einen internen Dienst für KI-Module (einschließlich GPT) erstellt.
Sie haben ihre eigene API, und ich wollte fragen, ob es möglich wäre, ein benutzerdefiniertes LLM-Plugin zu schreiben?
Oder welche anderen Optionen haben wir?

Die Aufrufe an diese interne API müssen authentifiziert werden, und die API selbst benötigt einen weiteren API-Schlüssel, sodass mehrere obligatorische Informationen im Voraus bereitgestellt werden müssen.

Jede Hilfe wäre sehr willkommen.

Danke und Grüße,

WS

1 „Gefällt mir“
2

Sie können benutzerdefinierte Modelle und/oder Endpunkte mit dem aktuellen Plugin verwenden.

Wenn Sie dann weitere Funktionalität hinzufügen müssen, können Sie Ihr eigenes Plugin auch forken und pflegen.

3 „Gefällt mir“
3

Ja, aber hast du das KI-Plugin schon installiert, um zu sehen, was es bereits unterstützt?

2 „Gefällt mir“
4

Solange Ihre internen Endpunkte OpenAI-ähnliche API-Schnittstellen verwenden, können Sie Discourse AI wie gewohnt verwenden und einfach ein benutzerdefiniertes LLM definieren.

2 „Gefällt mir“
5

Ich werde es ausprobieren. Eine große Sorge, die ich jedoch habe, ist die Authentifizierungssache.
Es handelt sich nicht nur um API-Schlüssel, sondern auch um OIDC-basiert (Corporate Policy-Sachen :slight_smile: )…

Das bedeutet, dass ich irgendwie anpassen müsste, wie das Board Anfragen an diese API stellt. Ist das ohne Forking und eigene Umsetzung möglich?

Danke Leute, ihr seid immer wieder klasse :+1: