Gute Nachrichten! Ich empfehle dir freundlich, zu suchen und zu lesen – alles, wonach du suchst, ist bereits hier ![]()
Wenn du selbst hostest, hängt die Konfiguration vollständig davon ab, wie du es machst und speziell davon, was du hostest; Litellm unterscheidet sich von Ollama, Qwen oder HuggingFace.
Wenn dein Endpunkt Open-API-kompatibel ist, wähle einfach OpenAI und gib deine Anmeldeinformationen/Endpunkt ein. Du kannst dir die standardmäßig erstellten LLMs als Anleitung ansehen und/oder die spezifische Dokumentation für die Modelle und deinen Proxy/Anbieter prüfen, um das Erraten deiner Einstellungen zu vermeiden.