Utilisation non affichée LLM

Comme l’indique le titre, l’onglet Utilisation est censé nous aider à déterminer quelles fonctionnalités utilisent quels modèles. Cependant, au lieu de lister les noms des LLM configurés, il liste l’ID du modèle.

Voir cet exemple, l’Utilisation s’affiche sous Tous les modèles → gemini-flash-latest et gemini-flash-lite-latest
image

Si je consulte la page des LLM configurés, je ne vois aucun nom de ce type.

image

Je ne suis donc même pas sûr si les informations d’utilisation sont par LLM configuré ou par ID de modèle LLM ? L’objectif d’utiliser plusieurs LLM configurés (en utilisant différentes clés et projets) est d’éviter de surcharger les LLM si une fonctionnalité reçoit trop de requêtes ou de tokens, cela ne perturbe pas les autres fonctionnalités.

Cela devrait être présent dans toutes les fonctionnalités, mais je vois ce que vous signalez ici.
Vous créez des LLM en double qui pointent vers le même modèle et vous souhaitez que cela soit décomposé par cela. Cas d’utilisation intéressant. Les décomptes seront corrects, mais vous n’obtiendrez peut-être pas la répartition que vous souhaitez.
Nous réfléchirons à un moyen de nettoyer cela.

1 « J'aime »