부탁입니다. VLLM의 수동 구성에 도움이 필요합니다. AI 모델 섹션 admin/plugins/discourse-ai/ai-llms/new?llmTemplate=none에서 설정해야 합니다.
네, 거기서 정확히 어떤 부분이 어렵나요?
이 두 옵션과 API와 관련하여 어떻게 활용해야 하는지 확실하지 않습니다.
모델을 호스팅하는 서비스의 URL
토크나이저
vLLM을 실행 중인 머신의 호스트명입니다. http://1.1.1.1:1111 형식의 IP 주소도 작동할 수 있지만, 해당 방식으로 테스트해 본 적은 없습니다.
LLM에 프롬프트를 보내기 전에 프롬프트 크기를 제한하는 데 도움이 되는 여러 토크나이저를 제공합니다. vLLM에서 실행 중인 모델이 사용하는 토크나이저와 가장 가까운 결과를 생성하는 것을 선택하세요. 완벽하게 일치할 필요는 없습니다.
확신이 없다면 OpenAI 또는 Llama3 토크나이저를 그대로 두세요.
아, 이건 내겐 지금 너무 복잡해서 Sambanova를 선택할 것 같아!