¡Buenas noticias! Te sugiero amablemente que busques y leas; todo lo que estás buscando ya está aquí 
Si lo alojas tú mismo (self-hosting), la configuración depende enteramente de cómo lo estés haciendo y, específicamente, de lo que estés alojando; Litellm es diferente de Ollama, Qwen o HuggingFace.
Si tu punto de acceso es compatible con Open API, simplemente elige Open AI y configura tus credenciales/punto de acceso. Puedes consultar los modelos de lenguaje predeterminados creados como guía y/o revisar la documentación específica para los modelos y tu proxy/proveedor para evitar adivinar tu configuración.