Bitte, ich brauche Hilfe bei der manuellen Konfiguration von VLLM im Abschnitt KI-Modelle admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none.
Sicher, womit genau haben Sie dort zu kämpfen?
Ich bin mir bei diesen beiden Optionen unsicher und wie ich sie nutzen kann, insbesondere in Bezug auf die API.
URL des Dienstes, der das Modell hostet
Tokenizer
Das ist der Hostname des Rechners, auf dem Sie vLLM ausführen. Es könnte auch mit einer IP-Adresse in der Form http://1.1.1.1:1111 funktionieren, aber ich habe es nicht getestet.
Wir haben ein paar Tokenizer, die uns helfen, die Größe der Prompts zu begrenzen, bevor wir sie an das LLM senden. Wählen Sie denjenigen, der den Ergebnissen des Tokenizers des Modells, das Sie in vLLM ausführen, am nächsten kommt. Eine perfekte Übereinstimmung ist nicht wirklich erforderlich.
Im Zweifelsfall belassen Sie es bei der OpenAI- oder Llama3-Version.
OMG, das ist mir im Moment zu komplex, ich würde stattdessen Sambanova wählen!
1 „Gefällt mir“