Es funktioniert mit VLLM, Sie können einfach einen VLLM-Endpunkt konfigurieren und es sollte sofort funktionieren.