Uso não mostrando LLM

Como o título diz, a guia Uso deve nos ajudar a descobrir quais recursos estão usando quais modelos. No entanto, em vez de listar os nomes dos LLMs configurados, ele está listando o ID do modelo.

Veja este exemplo, o Uso está mostrando em Todos os Modelos → gemini-flash-latest e gemini-flash-lite-latest
image

Se eu olhar a página de LLMs configurados, não vejo nenhum desses nomes.

image

Portanto, agora não tenho certeza se as informações de uso são por LLM configurado ou por ID de modelo LLM? O propósito de usar vários LLMs configurados (usando diferentes chaves e projetos) é evitar sobrecarregar os LLMs se um recurso estiver recebendo muitas requisições ou tokens, para que não interrompa outros recursos.

Deve abranger vários recursos, mas entendo o que você está relatando aqui.

Você está criando LLMs duplicados que apontam para o mesmo modelo e deseja que isso seja detalhado por ele. Caso de uso interessante. As contagens estarão corretas, mas você pode não estar obtendo a divisão que deseja.

Pensaremos em uma maneira de resolver isso.

1 curtida