Gibt es eine Möglichkeit, einen API-Schlüssel von einem LLM hinzuzufügen, das nicht in der Liste aufgeführt ist?
Wir verwenden dieses LLM namens Deepseek und möchten es integrieren. Wir haben bereits die API-Schlüssel usw.
2 „Gefällt mir“
Soweit ich weiß, nein, da Discourse wahrscheinlich nur die aufgeführten unterstützt.
Wenn ich falsch liege, kann mich jeder gerne korrigieren.
1 „Gefällt mir“
Es funktioniert mit VLLM, Sie können einfach einen VLLM-Endpunkt konfigurieren und es sollte sofort funktionieren.
6 „Gefällt mir“
WOW!!
Vielen Dank. Ich werde das ausprobieren.
2 „Gefällt mir“
Die Unterstützung für fast jedes moderne LLM, das existiert, war ein wichtiger Schwerpunkt für die Version 3.3, und wir haben es endlich geschafft, gerade rechtzeitig, als Open-Weights-LLMs zu den Closed-Ones aufholen.
Lassen Sie mich wissen, wenn Sie Hilfe bei der Konfiguration von DeepSeek in Ihrer Instanz benötigen. Diese Funktion ist brandneu und wir aktualisieren immer noch die gesamte Dokumentation, um ihre neuen Fähigkeiten widerzuspiegeln.
2 „Gefällt mir“
Ja, ich brauche Hilfe. Ich habe mich umgesehen, aber ich sehe nicht, wie ich es ohne VLLM hinzufügen kann. VLLM ist ein weiterer Overhead, den ich aufgrund der Anforderungen lieber vermeiden würde.
Es wäre großartig, wenn es eine Integration nicht nur für Deepseek, sondern auch für viele andere Open-Source-LLMs gäbe. Ich bin der Meinung, dass sich das LLM-Rennen in diese Richtung entwickelt.
Nach allem, was wir sehen, zögern Unternehmen, ihre Daten in die „Cloud“ zu geben. Open Source, das ihnen die Ausführung lokaler Instanzen mit Tools wie GPT4ALL und HuggingFace ermöglicht, wird zum bevorzugten Modell werden.
Danke
1 „Gefällt mir“
Ja, dem stimme ich zu, weshalb wir von Anfang an die Ausführung Ihres eigenen LLM unterstützen.
Was?
vLLM ist die beliebteste Inferenz-Engine und weit davon entfernt, ein „Overhead“ zu sein, da die Bereitstellung damit bedeutet, dass Sie eine schnellere Inferenz erhalten als jedes zusammengeschusterte Python-Skript, das ein Entwickler in ein paar Tagen schreiben kann, und es ist ein einfacher docker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instruct für die meisten Modelle entfernt.
Unsere Implementierung funktioniert mit jeder API, die der üblichen De-facto-Spezifikation von OpenAI entspricht. Sie können sie also ohne vLLM oder Hugging Face TGI ausführen, solange Sie Ihre API an die Erwartungen anpassen.
1 „Gefällt mir“
Danke, nach meinem Verständnis (ich habe es vielleicht falsch verstanden) brauche ich keinen neuen Droplet [Digital Ocean], alias VPS, um ein VLLM bereitzustellen? Oder kann es auf demselben Droplet bereitgestellt werden, das meine Discourse-Instanz hostet?
Wenn ja, auf derselben Instanz, wäre es im selben Verzeichnis wie Discourse oder in einem separaten Verzeichnis?
Danke nochmals.
Welche genaue Droplet-Instanz betreiben Sie für Ihre aktuelle Discourse-Seite? Die für 6 $?
Das 15-Dollar-Modell. Ich glaube, es hat 2 GB RAM. Sobald wir mit dem Testen fertig sind, werde ich es skalieren.
Danke
Hmm, sind Sie sich bewusst, dass ein Droplet, um dieses Deepseek-Modell auszuführen, das Sie möchten, Sie etwa 10.000 US-Dollar pro Monat kosten wird?
4 „Gefällt mir“
Ich vermute, @oga möchte den offiziellen Deepseek API-Dienst nutzen, anstatt ein Open-Source-Modell selbst zu implementieren.
Die offizielle API von Deepseek ist mit der API von OpenAI kompatibel, sodass nur ein neuer LLM unter admin/plugins/discourse-ai/ai-llms hinzugefügt werden muss.
3 „Gefällt mir“
GENAU das, was wir versuchen zu tun. Wir richten eine Plattform ein, um jungen Kindern und Leuten beizubringen, wie man effektive PROMPTS schreibt, aber wir wollen dies in einer Umgebung tun, in der wir überwachen können, was sie eingeben.
Lassen Sie mich das versuchen und sehen. Der Einsatz eines Open-Source-Modells hierfür wäre kostspielig.
Danke
1 „Gefällt mir“
Heilige Hähnchen-Nuggets!! Nicht das, was wir wollen oder uns leisten können.
1 „Gefällt mir“