Nutzung zeigt LLM nicht an

Fehler
1

Wie die Überschrift besagt, soll die Registerkarte „Nutzung“ uns helfen herauszufinden, welche Funktionen welche Modelle verwenden. Anstatt jedoch die konfigurierten LLM-Namen aufzulisten, werden die Modell-IDs aufgeführt.

Sehen Sie dieses Beispiel, die Nutzung wird unter „Alle Modelle“ → „gemini-flash-latest“ und „gemini-flash-lite-latest“ angezeigt.
image

Wenn ich die Seite „Konfigurierte LLMs“ aufrufe, sehe ich keine solchen Namen.

image

Daher bin ich mir nicht einmal sicher, ob die Nutzungsinformationen pro konfiguriertem LLM oder pro LLM-Modell-ID sind. Der Zweck der Verwendung mehrerer konfigurierter LLMs (unter Verwendung unterschiedlicher Schlüssel und Projekte) besteht darin, eine Überlastung der LLMs zu vermeiden. Wenn eine Funktion zu viele Anfragen oder Token verbraucht, beeinträchtigt dies andere Funktionen nicht.

2

Es sollte sich über Funktionen erstrecken, aber ich sehe, was Sie hier melden.

Sie erstellen doppelte LLMs, die auf dasselbe Modell verweisen, und möchten, dass dies aufgeschlüsselt wird. Interessanter Anwendungsfall. Die Zählungen werden richtig sein, aber Sie erhalten möglicherweise nicht die Aufschlüsselung, die Sie möchten.

Wir werden über eine Möglichkeit nachdenken, dies zu bereinigen.

1 „Gefällt mir“