Utilizzo non visualizzato LLM

Come dice l’intestazione, la scheda Utilizzo dovrebbe aiutarci a capire quali funzionalità utilizzano quali modelli. Tuttavia, invece di elencare i nomi dei LLM configurati, elenca l’ID del modello.

Vedi questo esempio, l’Utilizzo viene mostrato sotto Tutti i modelli → gemini-flash-latest e gemini-flash-lite-latest
image

Se guardo la pagina dei LLM configurati, non vedo nomi simili.

image

Quindi ora non sono nemmeno sicuro se le informazioni sull’utilizzo siano per LLM configurato o per ID del modello LLM? Lo scopo di utilizzare più LLM configurati (utilizzando chiavi e progetti diversi) è evitare di sovraccaricare i LLM se una funzionalità richiede troppe richieste o token, in modo che non interrompa altre funzionalità.

Dovrebbe essere tra le funzionalità, ma capisco quello che stai segnalando qui.

Stai creando LLM duplicati che puntano allo stesso modello e vuoi che venga suddiviso in base a questo. Caso d’uso interessante. I conteggi saranno corretti, ma potresti non ottenere la suddivisione desiderata.

Penseremo a un modo per risolvere questo problema.

1 Mi Piace