Пожалуйста, мне нужна помощь с ручной настройкой VLLM в разделе модели ИИ admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none.
Конечно, с чем именно у вас возникают трудности?
Я не уверен насчет этих двух вариантов и того, как их использовать, особенно в контексте API.
URL-адрес сервиса, размещающего модель
Токенизатор
Это имя хоста машины, на которой вы запускаете vLLM. Также может сработать IP-адрес в формате http://1.1.1.1:1111, но я не тестировал его в таком виде.
У нас есть несколько токенизаторов, которые помогают ограничить размер промптов перед отправкой их в LLM. Выберите любой, который даёт результаты, наиболее близкие к токенизатору, используемому моделью, которую вы запускаете в vLLM; идеальное совпадение не обязательно.
Если сомневаетесь, оставьте вариант OpenAI или Llama3.
Ого, это сейчас слишком сложно для меня, я бы выбрал Sambanova!