Uso não mostrando LLM

Como o título diz, a guia Uso deve nos ajudar a descobrir quais recursos estão usando quais modelos. No entanto, em vez de listar os nomes dos LLMs configurados, ele está listando o ID do modelo.

Veja este exemplo, o Uso está mostrando em Todos os Modelos → gemini-flash-latest e gemini-flash-lite-latest
image

Se eu olhar a página de LLMs configurados, não vejo nenhum desses nomes.

image

Portanto, agora não tenho certeza se as informações de uso são por LLM configurado ou por ID de modelo LLM? O propósito de usar vários LLMs configurados (usando diferentes chaves e projetos) é evitar sobrecarregar os LLMs se um recurso estiver recebendo muitas requisições ou tokens, para que não interrompa outros recursos.

Deve abranger vários recursos, mas entendo o que você está relatando aqui.

Você está criando LLMs duplicados que apontam para o mesmo modelo e deseja que isso seja detalhado por ele. Caso de uso interessante. As contagens estarão corretas, mas você pode não estar obtendo a divisão que deseja.

Pensaremos em uma maneira de resolver isso.

2 curtidas

Eu resolvi isso agora, os relatórios devem estar :chefs_kiss: Atualizados para a versão mais recente.

Dito isto, simplesmente não tínhamos armazenamento adequado no passado (não armazenávamos o llm_id no log de auditoria), então o relatório só estará 100% correto para você daqui para frente.

1 curtida

Este tópico foi fechado automaticamente após 4 dias. Novas respostas não são mais permitidas.