Per favore, ho bisogno di aiuto con la configurazione manuale di VLLM nella sezione dei modelli AI admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none.
Certo, con cosa stai avendo difficoltĂ esattamente?
Non sono sicuro di queste due opzioni e di come utilizzarle, in particolare in relazione all’API.
URL del servizio che ospita il modello
Tokenizer
Questo è il nome host della macchina su cui stai eseguendo vLLM. Potrebbe funzionare anche con un IP nella forma http://1.1.1.1:1111, ma non l’ho testato in questo modo.
Abbiamo alcuni tokenizer per aiutarci a limitare la dimensione dei prompt prima di inviarli all’LLM. Scegli quello che produce risultati più vicini al tokenizer utilizzato dal modello che stai eseguendo in vLLM, non è necessario che sia una corrispondenza perfetta.
In caso di dubbio, lascialo come quello di OpenAI o Llama3.
OMG, questo è troppo complesso per me al momento, opterei invece per Sambanova!
1 Mi Piace