Wir haben Kunden, die täglich Tausende von KI-Aufrufen über OpenAI-kompatible Proxys durchführen, daher wissen wir, dass es funktioniert. Das Hauptproblem ist, wie kompatibel sie wirklich sind, wenn sie von „OpenAI-kompatibel“ sprechen.
vLLM, Google, Ollama, LMStudio bieten alle OpenAI-kompatible APIs, die wir täglich testen und verwenden.
Wenn ein bestimmter Anbieter fehlschlägt, lässt sich dies normalerweise leicht anhand der Protokolle auf der Seite /logs feststellen. Können Sie den Fehler von dort teilen?