Debugging l'aggiunta di un nuovo LLM

[Lilly (Lillian Louis)]

C’è un argomento qui al riguardo

Can I add other LLM?

It works with VLLM, you can can just configure a VLLM endpoint and it should work out of the box.