S’il vous plaît, j’ai besoin d’aide pour la configuration manuelle de VLLM dans la section des modèles d’IA admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none.
Bien sûr, qu’est-ce qui vous pose exactement problème ?
Je ne suis pas sûr de ces deux options et de la manière de les utiliser, en particulier par rapport à l’API.
URL du service hébergeant le modèle
Tokenizer
C’est le nom d’hôte de la machine où vous exécutez vLLM. Il est possible que cela fonctionne également avec une adresse IP sous la forme http://1.1.1.1:1111, mais je ne l’ai pas testé ainsi.
Nous avons quelques tokenizers pour nous aider à limiter la taille des invites avant de les envoyer au LLM. Choisissez celui qui produit les résultats les plus proches du tokenizer utilisé par le modèle que vous exécutez dans vLLM, il n’est pas vraiment nécessaire qu’il corresponde parfaitement.
En cas de doute, laissez celui d’OpenAI ou de Llama3.
OMG, c’est trop complexe pour moi pour le moment, j’opterais plutôt pour Sambanova !
1 « J'aime »