Debugging beim Hinzufügen eines neuen LLM

[Lilly (Lillian Louis)]

Hier gibt es ein Thema dazu

Can I add other LLM?

It works with VLLM, you can can just configure a VLLM endpoint and it should work out of the box.