vLLM을 실행 중인 머신의 호스트명입니다. http://1.1.1.1:1111 형식의 IP 주소도 작동할 수 있지만, 해당 방식으로 테스트해 본 적은 없습니다.
LLM에 프롬프트를 보내기 전에 프롬프트 크기를 제한하는 데 도움이 되는 여러 토크나이저를 제공합니다. vLLM에서 실행 중인 모델이 사용하는 토크나이저와 가장 가까운 결과를 생성하는 것을 선택하세요. 완벽하게 일치할 필요는 없습니다.
확신이 없다면 OpenAI 또는 Llama3 토크나이저를 그대로 두세요.