Por favor, necesito ayuda con la configuración manual de VLLM en la sección de modelos de IA admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none.
Claro, ¿con qué tienes problemas exactamente?
Tengo dudas sobre estas dos opciones y cómo utilizarlas, específicamente en relación con la API.
URL del servicio que aloja el modelo
Tokenizador
Ese es el nombre de host de la máquina donde se está ejecutando vLLM. También puede funcionar con una IP en la forma de http://1.1.1.1:1111, pero no lo he probado de esa manera.
Tenemos algunos tokenizadores para ayudarnos a limitar el tamaño de los prompts antes de enviarlos al LLM. Elige el que produzca resultados más cercanos al tokenizador utilizado por el modelo que estás ejecutando en vLLM, realmente no necesita ser una coincidencia perfecta.
En caso de duda, déjalo como el de OpenAI o Llama3.
OMG, esto es demasiado complejo para mí en este momento, ¡optaría por Sambanova en su lugar!
1 me gusta