Por favor, preciso de ajuda com a configuração manual do VLLM na seção de modelos de IA admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none.
Claro, com o que exatamente você está tendo dificuldades aí?
Tenho dúvidas sobre estas duas opções e como utilizá-las, especificamente em relação à API.
URL do serviço que hospeda o modelo
Tokenizer
Esse é o nome do host da máquina onde você está executando o vLLM. Pode funcionar também com um IP no formato http://1.1.1.1:1111, mas não testei dessa forma.
Temos alguns tokenizadores para nos ajudar a limitar o tamanho dos prompts antes de enviá-los para o LLM. Escolha aquele que produzir resultados mais próximos do tokenizador usado pelo modelo que você está executando no vLLM, não precisa ser uma correspondência perfeita.
Na dúvida, deixe como o da OpenAI ou Llama3.
OMG, isso é muito complexo para mim no momento, eu iria com Sambanova em vez disso!
1 curtida