VLLM向け手動設定

サポート
1

VLLM の手動設定について、AI モデルセクション admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none でお手伝いが必要です。

2

具体的にどのような点でお困りですか？

3

APIに関して、これら2つのオプションをどのように利用できるか不明です。

モデルをホストするサービスのURL

トークナイザー

4

これは、vLLMを実行しているマシンのホスト名です。IPアドレス（例: http://1.1.1.1:1111）でも機能する可能性がありますが、テストしていません。

LLMに送信する前にプロンプトのサイズを制限するのに役立つトークナイザーがいくつかあります。vLLMで実行しているモデルで使用されているトークナイザーに最も近い結果を生成するものを選んでください。完璧に一致する必要はありません。

不明な場合は、OpenAIまたはLlama3のトークナイザーのままにしておいてください。

5

OMG、これは今の私には複雑すぎます。代わりにSambanovaにします！

「いいね！」 1