Comme l’indique le titre, l’onglet Utilisation est censé nous aider à déterminer quelles fonctionnalités utilisent quels modèles. Cependant, au lieu de lister les noms des LLM configurés, il liste l’ID du modèle.
Voir cet exemple, l’Utilisation s’affiche sous Tous les modèles → gemini-flash-latest et gemini-flash-lite-latest
Si je consulte la page des LLM configurés, je ne vois aucun nom de ce type.
Je ne suis donc même pas sûr si les informations d’utilisation sont par LLM configuré ou par ID de modèle LLM ? L’objectif d’utiliser plusieurs LLM configurés (en utilisant différentes clés et projets) est d’éviter de surcharger les LLM si une fonctionnalité reçoit trop de requêtes ou de tokens, cela ne perturbe pas les autres fonctionnalités.
Cela devrait être présent dans toutes les fonctionnalités, mais je vois ce que vous signalez ici.
Vous créez des LLM en double qui pointent vers le même modèle et vous souhaitez que cela soit décomposé par cela. Cas d’utilisation intéressant. Les décomptes seront corrects, mais vous n’obtiendrez peut-être pas la répartition que vous souhaitez.
Nous réfléchirons à un moyen de nettoyer cela.
J’ai réglé cela maintenant, les rapports devraient être Mis à jour vers la dernière version.
Ceci dit, nous n’avions tout simplement pas de stockage approprié par le passé (nous ne stockions pas llm_id dans le journal d’audit), donc le rapport ne sera correct à 100 % pour vous qu’à partir de maintenant.
Mis à jour vers la dernière version.