VLLM向け手動設定

サポート
4

これは、vLLMを実行しているマシンのホスト名です。IPアドレス（例: http://1.1.1.1:1111）でも機能する可能性がありますが、テストしていません。

LLMに送信する前にプロンプトのサイズを制限するのに役立つトークナイザーがいくつかあります。vLLMで実行しているモデルで使用されているトークナイザーに最も近い結果を生成するものを選んでください。完璧に一致する必要はありません。

不明な場合は、OpenAIまたはLlama3のトークナイザーのままにしておいてください。