Uso no muestra LLM

Como dice el encabezado, la pestaña Uso debería ayudarnos a determinar qué funciones están utilizando qué modelos. Sin embargo, en lugar de enumerar los nombres de LLM configurados, está enumerando el ID del modelo.

Vea este ejemplo, el Uso se muestra en Todos los modelos → gemini-flash-latest y gemini-flash-lite-latest
image

Si veo la página de LLM configurados, no veo tales nombres.

image

Así que ahora no estoy seguro de si la información de uso es por LLM configurado o por ID de modelo LLM. El propósito de usar múltiples LLM configurados (usando diferentes claves y proyectos) es evitar sobrecargar los LLM si una función está recibiendo demasiadas solicitudes o tokens, no interrumpe otras funciones.

Debería estar en todas las funciones, pero veo lo que está informando aquí.

Está creando LLM duplicados que apuntan al mismo modelo y quiere que se desglosen por eso. Caso de uso interesante. Los recuentos serán correctos, pero es posible que no obtenga la división que desea.

Pensaremos en una forma de limpiar esto.

1 me gusta