リストにないLLMからAPIキーを追加する方法はありますか？
DeepseekというLLMを使用しており、連携したいと考えています。APIキーなどはすでに取得済みです。
「いいね！」 2
AFAIK、いいえ、Discourseはおそらくリストされているものしかサポートしていません。
もし私が間違っていたら、誰でも遠慮なく訂正してください。
「いいね！」 1
VLLMで動作します。VLLMエンドポイントを設定すれば、すぐに動作するはずです。
「いいね！」 6
すごい！！
本当にありがとうございます。試してみます。
「いいね！」 2
リリース3.3の大きな焦点は、現在存在するほぼすべての最新LLMのサポートでしたが、オープンウェイトLLMがクローズドなものに追いつこうとしているまさにその時に、ついにそれを実現しました。
インスタンスでDeepSeekを設定するのにヘルプが必要な場合はお知らせください。この機能は完全に新規であり、その新しい機能が反映されるように、まだすべてのドキュメントを更新しています。
「いいね！」 2
はい、助けが必要です。VLLMなしで追加する方法を探しましたが、見つかりませんでした。VLLMは、要件からすると避けたい別のオーバーヘッドです。
Deepseekだけでなく、他の多くのオープンソースLLMとの統合があれば素晴らしいでしょう。私は、このLLMレースが向かう先はそこだと考えています。
私たちが目にする限り、企業はデータを「クラウド」に渡すことをためらっています。GPT4ALLやHuggingFaceのようなツールを使用してローカルインスタンスを実行できるオープンソースが、好ましいモデルになるでしょう。
ありがとうございます。
「いいね！」 1
はい、それに同意します。だからこそ、私たちは最初から独自のLLMを実行することをサポートしています。
何ですか？
vLLMは最も人気のある推論エンジンであり、「オーバーヘッド」とは程遠いです。なぜなら、vLLMでデプロイすることは、開発者が数日で書けるような寄せ集めのPythonスクリプトよりも高速な推論が得られることを意味し、ほとんどのモデルではdocker run --gpus all vllm/vllm-openai:latest --model deepseek-ai/DeepSeek-Coder-V2-Instructで簡単に実行できるからです。
私たちの実装は、通常のOpenAIの事実上の仕様に準拠した任意のAPIで動作するため、APIが期待されるものに準拠している限り、vLLMやHugging Face TGIなしで実行できます。
「いいね！」 1
ありがとうございます。私の理解では、(間違っているかもしれませんが) VLLM をデプロイするには新しい Droplet [Digital Ocean]、つまり VPS が必要なのでしょうか？それとも、Discourse インスタンスをホストしているのと同じ Droplet にデプロイできますか？
同じインスタンスにデプロイする場合、Discourse と同じディレクトリになりますか、それとも別のディレクトリになりますか？
重ねて感謝いたします。
現在のDiscourseサイトはどのドロップレットで実行されていますか？ 6ドルのものですか？
15ドルのものです。RAMは2GBだと思います。テストが完了したらスケールアップします。
よろしくお願いします。
うーん、あなたが望むこのDeepseekモデルを実行するためのドロップレットが月に10,000ドル近くかかることをご存知ですか？
「いいね！」 4
おそらく @oga は、オープンソースモデルを自分でデプロイするのではなく、公式の Deepseek API サービスを使用したいと考えているのでしょう。
Deepseek の公式 API は OpenAI の API と互換性があるため、admin/plugins/discourse-ai/ai-llms に新しい LLM を追加するだけで済みます。
「いいね！」 3
まさに私たちがやろうとしていることです。効果的なプロンプトの書き方を若い子供たちや人々にトレーニングするためのプラットフォームをセットアップしていますが、彼らが何をプロンプトしたかを監視できる環境で行いたいのです。
これを試してみて、どうなるか見てみましょう。これをオープンソースモデルで展開するのは費用がかかりすぎます。
ありがとうございます
「いいね！」 1
チキンナゲットだと！それは我々が望むものでも、払えるものでもない。
「いいね！」 1